9
Ubuntu 12.04 Bandsicherung af LTO4 extrem langsam
Hi,
ich würde gern Daten mit Ubuntu 12.04 auf ein externes HP Ultrium 1840 SAS sichern. Theoretisch geht das auch, nur dauert es ewig, ich komme auf Transferraten von 2,6 - 2,8MB/s. Die Sicherung erfolgt jeweils mit tar.
Rechner: Dell Optiplex 360 mit 4GB RAM und 160GB SATA-Platte, für die Anbindung des LTO4-Laufwerks ist ein LSI-Controller SAS3442E-HP über PCIe eingebaut. Der Rechner ist über eine Gbit-Anbindung mit dem Netzwerk verbunden.
Backupszenario 1: Sicherung der Daten von einem Samba-Netzwerkshare, das ebenfalls mit Gbit angebunden ist (Netgear ReadyNAS3100). Gesamtvolumen der zu sichernden Daten: knapp 400GB. Datentransferrate: 2,8MB/s
Backupszenario 2: Nicht sehr schnell, um auszuschließen, dass das Netzwerk den Flaschenhals darstellt, sichere ich auf dasselbe Laufwerk lokale Daten von der Festplatte auf Band. Datentransferrate: 1,5 - 1,8MB/s
Um zu sehen, ob auch wirklich alles erkannt wird, setze ich ein paar Befehle ab:
--> lspci
01:00.0 SCSI storage controller: LSI Logic / Symbios Logic SAS1068E PCI-Express Fusion-MPT SAS (rev 08)
--> lsscsi
[4:0:0:0] tape HP Ultrium 4-SCSI A63D /dev/st0
Vielleicht übersehe ich da einfach nur was? Selbst wenn da Tuning wie blocksize etc. fehlt, dürfte das doch nicht soooo langsam sein?
Gruß
ich würde gern Daten mit Ubuntu 12.04 auf ein externes HP Ultrium 1840 SAS sichern. Theoretisch geht das auch, nur dauert es ewig, ich komme auf Transferraten von 2,6 - 2,8MB/s. Die Sicherung erfolgt jeweils mit tar.
Rechner: Dell Optiplex 360 mit 4GB RAM und 160GB SATA-Platte, für die Anbindung des LTO4-Laufwerks ist ein LSI-Controller SAS3442E-HP über PCIe eingebaut. Der Rechner ist über eine Gbit-Anbindung mit dem Netzwerk verbunden.
Backupszenario 1: Sicherung der Daten von einem Samba-Netzwerkshare, das ebenfalls mit Gbit angebunden ist (Netgear ReadyNAS3100). Gesamtvolumen der zu sichernden Daten: knapp 400GB. Datentransferrate: 2,8MB/s
Backupszenario 2: Nicht sehr schnell, um auszuschließen, dass das Netzwerk den Flaschenhals darstellt, sichere ich auf dasselbe Laufwerk lokale Daten von der Festplatte auf Band. Datentransferrate: 1,5 - 1,8MB/s
Um zu sehen, ob auch wirklich alles erkannt wird, setze ich ein paar Befehle ab:
--> lspci
01:00.0 SCSI storage controller: LSI Logic / Symbios Logic SAS1068E PCI-Express Fusion-MPT SAS (rev 08)
--> lsscsi
[4:0:0:0] tape HP Ultrium 4-SCSI A63D /dev/st0
Vielleicht übersehe ich da einfach nur was? Selbst wenn da Tuning wie blocksize etc. fehlt, dürfte das doch nicht soooo langsam sein?
Gruß
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 206102
Url: https://administrator.de/contentid/206102
Printed on: April 23, 2024 at 10:04 o'clock
9 Comments
Latest comment
Hallo,
wie genau lautet das Kommando welches die Datensicherung durchführt? Welcher User mit welchen Rechten führt die Sicherung durch?
bitte führe mal lspci mit der -k Option aus, dann wird auch das geladene Kernelmodul mit angezeigt und man kann mal feststellen, ob das wirklich der optimale Treiber ist.
Markus
wie genau lautet das Kommando welches die Datensicherung durchführt? Welcher User mit welchen Rechten führt die Sicherung durch?
bitte führe mal lspci mit der -k Option aus, dann wird auch das geladene Kernelmodul mit angezeigt und man kann mal feststellen, ob das wirklich der optimale Treiber ist.
Markus
Moin,
Wie schnell ist es denn, wenn Du direkt per dd auf das band sicherst? je nachdem, wie die Dateigrößen sind und die lokalen dateien verteilt sind, kann das durchaus ein realistischer Wert sein.
mach doch einfach mal ein
Dann solltest Du sehen, wie schnell das Ding bei großen Blöcken ist.
lks
Wie schnell ist es denn, wenn Du direkt per dd auf das band sicherst? je nachdem, wie die Dateigrößen sind und die lokalen dateien verteilt sind, kann das durchaus ein realistischer Wert sein.
mach doch einfach mal ein
time dd_rescue -m 1G /dev/zero /dev/st0
Dann solltest Du sehen, wie schnell das Ding bei großen Blöcken ist.
lks
1
nachtrag:
Macht das laufwerk eventuell Skipping, weil die Daten nicht schnell genug kommen? Das hört man normalerweise: Band hält an, läuft zurück, läuft wieder an. Das reduziert die Datenraten unters unterträgliche. dann würde sich ggf zweistufiges Backup anbieten: erst auf eine schnelle lokale Platte ein tarfile erzeugemn und dieses dann einfach per dd auf das band schieben.
lks
Macht das laufwerk eventuell Skipping, weil die Daten nicht schnell genug kommen? Das hört man normalerweise: Band hält an, läuft zurück, läuft wieder an. Das reduziert die Datenraten unters unterträgliche. dann würde sich ggf zweistufiges Backup anbieten: erst auf eine schnelle lokale Platte ein tarfile erzeugemn und dieses dann einfach per dd auf das band schieben.
lks
Moin,
danke für Eure Antworten.
lspci -k sieht gut aus:
01:00.0 SCSI storage controller: LSI Logic / Symbios Logic SAS1068E PCI-Express Fusion-MPT SAS (rev 08)
Subsystem: Hewlett-Packard Company SC44Ge Host Bus Adapter
Kernel driver in use: mptsas
Kernel modules: mptsas
time dd_rescue -m 1G /dev/zero /dev/st0:
dd_rescue: (warning): Don't use sparse writes for non-seekable output
dd_rescue: (info): ipos: 1048576.0k, opos: 1048576.0k, xferd: 1048576.0k
errs: 0, errxfer: 0.0k, succxfer: 1048576.0k
+curr.rate: 104886kB/s, avg.rate: 104354kB/s, avg.load: 6.3%
>-----------------------------------------< 100% ETA: 0:00:00
dd_rescue: (info): Summary for /dev/zero -> /dev/st0:
dd_rescue: (info): ipos: 1048576.0k, opos: 1048576.0k, xferd: 1048576.0k
errs: 0, errxfer: 0.0k, succxfer: 1048576.0k
+curr.rate: 0kB/s, avg.rate: 104353kB/s, avg.load: 6.3%
>-----------------------------------------< 100% ETA: 0:00:00
0.02user 0.61system 0:20.26elapsed 3%CPU (0avgtext+0avgdata 2656maxresident)k
0inputs+0outputs (0major+205minor)pagefaults 0swaps
@lks: Kann sein mit dem Skipping, wird im Netz auch häufiger als möglicher Grund angegeben. Habe den Controller aus einem Server ausgebaut und in einen PC ohne RAID verfrachtet... Ich werde das mal testen und poste dann hier das Ergebnis.
danke für Eure Antworten.
lspci -k sieht gut aus:
01:00.0 SCSI storage controller: LSI Logic / Symbios Logic SAS1068E PCI-Express Fusion-MPT SAS (rev 08)
Subsystem: Hewlett-Packard Company SC44Ge Host Bus Adapter
Kernel driver in use: mptsas
Kernel modules: mptsas
time dd_rescue -m 1G /dev/zero /dev/st0:
dd_rescue: (warning): Don't use sparse writes for non-seekable output
dd_rescue: (info): ipos: 1048576.0k, opos: 1048576.0k, xferd: 1048576.0k
errs: 0, errxfer: 0.0k, succxfer: 1048576.0k
+curr.rate: 104886kB/s, avg.rate: 104354kB/s, avg.load: 6.3%
>-----------------------------------------< 100% ETA: 0:00:00
dd_rescue: (info): Summary for /dev/zero -> /dev/st0:
dd_rescue: (info): ipos: 1048576.0k, opos: 1048576.0k, xferd: 1048576.0k
errs: 0, errxfer: 0.0k, succxfer: 1048576.0k
+curr.rate: 0kB/s, avg.rate: 104353kB/s, avg.load: 6.3%
>-----------------------------------------< 100% ETA: 0:00:00
0.02user 0.61system 0:20.26elapsed 3%CPU (0avgtext+0avgdata 2656maxresident)k
0inputs+0outputs (0major+205minor)pagefaults 0swaps
@lks: Kann sein mit dem Skipping, wird im Netz auch häufiger als möglicher Grund angegeben. Habe den Controller aus einem Server ausgebaut und in einen PC ohne RAID verfrachtet... Ich werde das mal testen und poste dann hier das Ergebnis.
ca. 100MB/s sind ca. 360GB/h was ein durchaus normaler Wert ist.
Wie vermutet werden wahrscheinlich einfach die Daten zu langsam angeliefert.
lks
1
Moin,
ab sofort heißt "lks" für mich nicht mehr "Lochkartenstanzer", sondern "LinuxKennerSympathicus". Aus anderen Linuxforen kenne ich eher die nerdigen Sozialkompetenzvernachlässigten
Funktioniert, wenn ich erst auf die lokale Platte ein Image mit tar erstelle und dieses dann per
dd if=/da/istes.tgz of=/dev/st0 bs=1048576
auf das Band schreibe. Übertragungsrate ist dann immer mind. 105MB/s. Wichtig: Angabe der Blocksize, ist kein Wert angegeben, schnarcht auch hier die Datenübertragung bei 2,xMB/s !
Also Fall geschlossen, danke lks!
Gruß
P.S.: Und wieder einen Tag vor einem Tag, an dem man auch mal ein halbes Bier trinken kann: Schönen Vatertag!
ab sofort heißt "lks" für mich nicht mehr "Lochkartenstanzer", sondern "LinuxKennerSympathicus". Aus anderen Linuxforen kenne ich eher die nerdigen Sozialkompetenzvernachlässigten
Funktioniert, wenn ich erst auf die lokale Platte ein Image mit tar erstelle und dieses dann per
dd if=/da/istes.tgz of=/dev/st0 bs=1048576
auf das Band schreibe. Übertragungsrate ist dann immer mind. 105MB/s. Wichtig: Angabe der Blocksize, ist kein Wert angegeben, schnarcht auch hier die Datenübertragung bei 2,xMB/s !
Also Fall geschlossen, danke lks!
Gruß
P.S.: Und wieder einen Tag vor einem Tag, an dem man auch mal ein halbes Bier trinken kann: Schönen Vatertag!
1
Guten Morgen,
. Zumindest wenn man dort unterwegs ist als jemand, der von aktuellen Windowssystemen nicht soooo viel Ahnung hat....
Kannst Du bitten mal posten, welches (genaue) Kommmando Du ursprünglich benutzt hast?
Markus
Zitat von @Coreknabe:
Moin,
ab sofort heißt "lks" für mich nicht mehr "Lochkartenstanzer", sondern
"LinuxKennerSympathicus". Aus anderen Linuxforen kenne ich eher die nerdigen Sozialkompetenzvernachlässigten
naja, das hat aber nix mit dem Betriebssystem zu tun. Sprich: solche Leute findest Du in Windowsforen auch ne Menge Moin,
ab sofort heißt "lks" für mich nicht mehr "Lochkartenstanzer", sondern
"LinuxKennerSympathicus". Aus anderen Linuxforen kenne ich eher die nerdigen Sozialkompetenzvernachlässigten
. Zumindest wenn man dort unterwegs ist als jemand, der von aktuellen Windowssystemen nicht soooo viel Ahnung hat....Funktioniert, wenn ich erst auf die lokale Platte ein Image mit tar erstelle und dieses dann per
dd if=/da/istes.tgz of=/dev/st0 bs=1048576
auf das Band schreibe. Übertragungsrate ist dann immer mind. 105MB/s. Wichtig: Angabe der Blocksize, ist kein Wert angegeben,
schnarcht auch hier die Datenübertragung bei 2,xMB/s !
Danke für die genaue Beschreibung, gut zu wissen.dd if=/da/istes.tgz of=/dev/st0 bs=1048576
auf das Band schreibe. Übertragungsrate ist dann immer mind. 105MB/s. Wichtig: Angabe der Blocksize, ist kein Wert angegeben,
schnarcht auch hier die Datenübertragung bei 2,xMB/s !
Kannst Du bitten mal posten, welches (genaue) Kommmando Du ursprünglich benutzt hast?
Also Fall geschlossen, danke lks!
Gruß
P.S.: Und wieder einen Tag vor einem Tag, an dem man auch mal ein halbes Bier trinken kann: Schönen Vatertag!
Viel SpaßGruß
P.S.: Und wieder einen Tag vor einem Tag, an dem man auch mal ein halbes Bier trinken kann: Schönen Vatertag!
Markus
Danke für die Blumen. Aber das hat nichts mit linux zu tun, sondern eher mit grundlegenden Kenntnissen der Computertechnik. Die Pufferproblematik hat man nämlich mit allen Betriebssystemen (auch schon damals bei den 1/2"-Bändern).
Wichtig: Angabe der Blocksize, ist kein Wert angegeben,
schnarcht auch hier die Datenübertragung bei 2,xMB/s !
schnarcht auch hier die Datenübertragung bei 2,xMB/s !
Deswegen habe ich mir inzwischen angewöhnt bei dd "bs=1M" automatisch mitzutippen.
danke lks!
gern geschehen.
P.S.: Und wieder einen Tag vor einem Tag, an dem man auch mal ein halbes Bier trinken kann: Schönen Vatertag!
Trink ein ganzes Bier, hat man mehr davon.
Wünsche ich Dir auch.
lks
> Moin,
>
> ab sofort heißt "lks" für mich nicht mehr "Lochkartenstanzer", sondern
> "LinuxKennerSympathicus". Aus anderen Linuxforen kenne ich eher die nerdigen Sozialkompetenzvernachlässigten
naja, das hat aber nix mit dem Betriebssystem zu tun. Sprich: solche Leute findest Du in Windowsforen auch ne Menge. Zumindest
wenn man dort unterwegs ist als jemand, der von aktuellen Windowssystemen nicht soooo viel Ahnung hat....
Naja, viele Linux-User sind schon speziell und aufgrund des genutzten Betriebssystems elitär. In Ihrer Welt. Klar gibt's das in der Windows-Welt auch, aber bedarf es schon spezieller Themen, in die man sich eingearbeitet hat. Und mich nervt's auch, wenn jemand sofort eine Frage postet, ohne vorher selbst was probiert zu haben oder mal zu recherchieren und nachzulesen. Aber das ist jetzt sehr OT.>
> ab sofort heißt "lks" für mich nicht mehr "Lochkartenstanzer", sondern
> "LinuxKennerSympathicus". Aus anderen Linuxforen kenne ich eher die nerdigen Sozialkompetenzvernachlässigten
naja, das hat aber nix mit dem Betriebssystem zu tun. Sprich: solche Leute findest Du in Windowsforen auch ne Menge
. Zumindestwenn man dort unterwegs ist als jemand, der von aktuellen Windowssystemen nicht soooo viel Ahnung hat....
Kannst Du bitten mal posten, welches (genaue) Kommmando Du ursprünglich benutzt hast?
Erstellen des Archivs auf die lokale Platte
tar -czf /da/istes.tgz /mnt/source
Sichern des Archivs auf Band
dd if=/da/istes.tgz of=/dev/st0 bs=1048576
Prüfen des Fortschritts, Absetzen des Befehls von einem zweiten Terminal
watch -d killall -SIGUSR1 dd
(Bandsicherung tar Statusabfrage)
Fertig!
1
