Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit
GELÖST

Ubuntu 12.04 Bandsicherung af LTO4 extrem langsam

Frage Linux Ubuntu

Mitglied: Coreknabe

Coreknabe (Level 2) - Jetzt verbinden

06.05.2013, aktualisiert 17:16 Uhr, 3357 Aufrufe, 9 Kommentare, 5 Danke

Hi,

ich würde gern Daten mit Ubuntu 12.04 auf ein externes HP Ultrium 1840 SAS sichern. Theoretisch geht das auch, nur dauert es ewig, ich komme auf Transferraten von 2,6 - 2,8MB/s. Die Sicherung erfolgt jeweils mit tar.

Rechner: Dell Optiplex 360 mit 4GB RAM und 160GB SATA-Platte, für die Anbindung des LTO4-Laufwerks ist ein LSI-Controller SAS3442E-HP über PCIe eingebaut. Der Rechner ist über eine Gbit-Anbindung mit dem Netzwerk verbunden.

Backupszenario 1: Sicherung der Daten von einem Samba-Netzwerkshare, das ebenfalls mit Gbit angebunden ist (Netgear ReadyNAS3100). Gesamtvolumen der zu sichernden Daten: knapp 400GB. Datentransferrate: 2,8MB/s

Backupszenario 2: Nicht sehr schnell, um auszuschließen, dass das Netzwerk den Flaschenhals darstellt, sichere ich auf dasselbe Laufwerk lokale Daten von der Festplatte auf Band. Datentransferrate: 1,5 - 1,8MB/s

Um zu sehen, ob auch wirklich alles erkannt wird, setze ich ein paar Befehle ab:

--> lspci
01:00.0 SCSI storage controller: LSI Logic / Symbios Logic SAS1068E PCI-Express Fusion-MPT SAS (rev 08)

--> lsscsi
[4:0:0:0] tape HP Ultrium 4-SCSI A63D /dev/st0

Vielleicht übersehe ich da einfach nur was? Selbst wenn da Tuning wie blocksize etc. fehlt, dürfte das doch nicht soooo langsam sein?

Gruß
Mitglied: hmarkus
06.05.2013 um 16:28 Uhr
Hallo,

wie genau lautet das Kommando welches die Datensicherung durchführt? Welcher User mit welchen Rechten führt die Sicherung durch?

bitte führe mal lspci mit der -k Option aus, dann wird auch das geladene Kernelmodul mit angezeigt und man kann mal feststellen, ob das wirklich der optimale Treiber ist.

Markus
Bitte warten ..
Mitglied: Lochkartenstanzer
06.05.2013 um 16:30 Uhr
Moin,

Wie schnell ist es denn, wenn Du direkt per dd auf das band sicherst? je nachdem, wie die Dateigrößen sind und die lokalen dateien verteilt sind, kann das durchaus ein realistischer Wert sein.

mach doch einfach mal ein

time dd_rescue -m 1G /dev/zero /dev/st0 
Dann solltest Du sehen, wie schnell das Ding bei großen Blöcken ist.

lks
Bitte warten ..
Mitglied: Lochkartenstanzer
06.05.2013 um 21:33 Uhr
nachtrag:

Macht das laufwerk eventuell Skipping, weil die Daten nicht schnell genug kommen? Das hört man normalerweise: Band hält an, läuft zurück, läuft wieder an. Das reduziert die Datenraten unters unterträgliche. dann würde sich ggf zweistufiges Backup anbieten: erst auf eine schnelle lokale Platte ein tarfile erzeugemn und dieses dann einfach per dd auf das band schieben.

lks
Bitte warten ..
Mitglied: Coreknabe
07.05.2013 um 09:18 Uhr
Moin,

danke für Eure Antworten.

lspci -k sieht gut aus:
01:00.0 SCSI storage controller: LSI Logic / Symbios Logic SAS1068E PCI-Express Fusion-MPT SAS (rev 08)
Subsystem: Hewlett-Packard Company SC44Ge Host Bus Adapter
Kernel driver in use: mptsas
Kernel modules: mptsas


time dd_rescue -m 1G /dev/zero /dev/st0:
dd_rescue: (warning): Don't use sparse writes for non-seekable output
dd_rescue: (info): ipos: 1048576.0k, opos: 1048576.0k, xferd: 1048576.0k
errs: 0, errxfer: 0.0k, succxfer: 1048576.0k
+curr.rate: 104886kB/s, avg.rate: 104354kB/s, avg.load: 6.3%
>-----------------------------------------< 100% ETA: 0:00:00
dd_rescue: (info): Summary for /dev/zero -> /dev/st0:
dd_rescue: (info): ipos: 1048576.0k, opos: 1048576.0k, xferd: 1048576.0k
errs: 0, errxfer: 0.0k, succxfer: 1048576.0k
+curr.rate: 0kB/s, avg.rate: 104353kB/s, avg.load: 6.3%
>-----------------------------------------< 100% ETA: 0:00:00
0.02user 0.61system 0:20.26elapsed 3%CPU (0avgtext+0avgdata 2656maxresident)k
0inputs+0outputs (0major+205minor)pagefaults 0swaps


@lks: Kann sein mit dem Skipping, wird im Netz auch häufiger als möglicher Grund angegeben. Habe den Controller aus einem Server ausgebaut und in einen PC ohne RAID verfrachtet... Ich werde das mal testen und poste dann hier das Ergebnis.
Bitte warten ..
Mitglied: Lochkartenstanzer
07.05.2013 um 11:01 Uhr
Zitat von Coreknabe:
+curr.rate: 0kB/s, avg.rate: 104353kB/s, avg.load: 6.3%

ca. 100MB/s sind ca. 360GB/h was ein durchaus normaler Wert ist.

Wie vermutet werden wahrscheinlich einfach die Daten zu langsam angeliefert.

lks
Bitte warten ..
Mitglied: Coreknabe
08.05.2013, aktualisiert um 09:59 Uhr
Moin,

ab sofort heißt "lks" für mich nicht mehr "Lochkartenstanzer", sondern "LinuxKennerSympathicus". Aus anderen Linuxforen kenne ich eher die nerdigen Sozialkompetenzvernachlässigten

Funktioniert, wenn ich erst auf die lokale Platte ein Image mit tar erstelle und dieses dann per
dd if=/da/istes.tgz of=/dev/st0 bs=1048576
auf das Band schreibe. Übertragungsrate ist dann immer mind. 105MB/s. Wichtig: Angabe der Blocksize, ist kein Wert angegeben, schnarcht auch hier die Datenübertragung bei 2,xMB/s !

Also Fall geschlossen, danke lks!

Gruß

P.S.: Und wieder einen Tag vor einem Tag, an dem man auch mal ein halbes Bier trinken kann: Schönen Vatertag!
Bitte warten ..
Mitglied: hmarkus
08.05.2013, aktualisiert um 10:30 Uhr
Guten Morgen,
Zitat von Coreknabe:
Moin,

ab sofort heißt "lks" für mich nicht mehr "Lochkartenstanzer", sondern
"LinuxKennerSympathicus". Aus anderen Linuxforen kenne ich eher die nerdigen Sozialkompetenzvernachlässigten
naja, das hat aber nix mit dem Betriebssystem zu tun. Sprich: solche Leute findest Du in Windowsforen auch ne Menge . Zumindest wenn man dort unterwegs ist als jemand, der von aktuellen Windowssystemen nicht soooo viel Ahnung hat....

Funktioniert, wenn ich erst auf die lokale Platte ein Image mit tar erstelle und dieses dann per
dd if=/da/istes.tgz of=/dev/st0 bs=1048576
auf das Band schreibe. Übertragungsrate ist dann immer mind. 105MB/s. Wichtig: Angabe der Blocksize, ist kein Wert angegeben,
schnarcht auch hier die Datenübertragung bei 2,xMB/s !
Danke für die genaue Beschreibung, gut zu wissen.

Kannst Du bitten mal posten, welches (genaue) Kommmando Du ursprünglich benutzt hast?

Also Fall geschlossen, danke lks!

Gruß

P.S.: Und wieder einen Tag vor einem Tag, an dem man auch mal ein halbes Bier trinken kann: Schönen Vatertag!
Viel Spaß

Markus
Bitte warten ..
Mitglied: Lochkartenstanzer
08.05.2013, aktualisiert um 10:40 Uhr
Zitat von Coreknabe:
"LinuxKennerSympathicus"

Danke für die Blumen. Aber das hat nichts mit linux zu tun, sondern eher mit grundlegenden Kenntnissen der Computertechnik. Die Pufferproblematik hat man nämlich mit allen Betriebssystemen (auch schon damals bei den 1/2"-Bändern).

Wichtig: Angabe der Blocksize, ist kein Wert angegeben,
schnarcht auch hier die Datenübertragung bei 2,xMB/s !

Deswegen habe ich mir inzwischen angewöhnt bei dd "bs=1M" automatisch mitzutippen.

danke lks!

gern geschehen.

P.S.: Und wieder einen Tag vor einem Tag, an dem man auch mal ein halbes Bier trinken kann: Schönen Vatertag!

Trink ein ganzes Bier, hat man mehr davon.

Wünsche ich Dir auch.

lks
Bitte warten ..
Mitglied: Coreknabe
08.05.2013 um 10:57 Uhr
> Moin,
>
> ab sofort heißt "lks" für mich nicht mehr "Lochkartenstanzer", sondern
> "LinuxKennerSympathicus". Aus anderen Linuxforen kenne ich eher die nerdigen Sozialkompetenzvernachlässigten

naja, das hat aber nix mit dem Betriebssystem zu tun. Sprich: solche Leute findest Du in Windowsforen auch ne Menge . Zumindest
wenn man dort unterwegs ist als jemand, der von aktuellen Windowssystemen nicht soooo viel Ahnung hat....

Naja, viele Linux-User sind schon speziell und aufgrund des genutzten Betriebssystems elitär. In Ihrer Welt. Klar gibt's das in der Windows-Welt auch, aber bedarf es schon spezieller Themen, in die man sich eingearbeitet hat. Und mich nervt's auch, wenn jemand sofort eine Frage postet, ohne vorher selbst was probiert zu haben oder mal zu recherchieren und nachzulesen. Aber das ist jetzt sehr OT.


Kannst Du bitten mal posten, welches (genaue) Kommmando Du ursprünglich benutzt hast?

Sicher.

Erstellen des Archivs auf die lokale Platte
tar -czf /da/istes.tgz /mnt/source

Sichern des Archivs auf Band
dd if=/da/istes.tgz of=/dev/st0 bs=1048576

Prüfen des Fortschritts, Absetzen des Befehls von einem zweiten Terminal
watch -d killall -SIGUSR1 dd
(http://www.administrator.de/link/bandsicherung-tar-statusabfrage-205704 ...)

Fertig!
Bitte warten ..
Neuester Wissensbeitrag
Windows 10

Powershell 5 BSOD

(3)

Tipp von agowa338 zum Thema Windows 10 ...

Ähnliche Inhalte
Apache Server
gelöst Apache und PHP auf Ubuntu 12.04.5.TLS installieren (8)

Frage von laster zum Thema Apache Server ...

Ubuntu
Ubuntu 16.04 LTS friert immer ein (5)

Frage von Moddry zum Thema Ubuntu ...

Linux Netzwerk
Windows Netzwerkfreigaben unter Ubuntu 14.04 (2)

Frage von hildefeuer zum Thema Linux Netzwerk ...

Heiß diskutierte Inhalte
LAN, WAN, Wireless
gelöst Server erkennt Client nicht wenn er ausserhalb des DHCP Pools liegt (28)

Frage von Mar-west zum Thema LAN, WAN, Wireless ...

Outlook & Mail
Outlook 2010 findet ost datei nicht (18)

Frage von Floh21 zum Thema Outlook & Mail ...

Windows Server
Server 2008R2 startet nicht mehr (Bad Patch 0xa) (18)

Frage von Haures zum Thema Windows Server ...