Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

gelöst Ubuntu 12.04 Bandsicherung af LTO4 extrem langsam

Mitglied: Coreknabe

Coreknabe (Level 2) - Jetzt verbinden

06.05.2013, aktualisiert 17:16 Uhr, 3581 Aufrufe, 9 Kommentare, 5 Danke

Hi,

ich würde gern Daten mit Ubuntu 12.04 auf ein externes HP Ultrium 1840 SAS sichern. Theoretisch geht das auch, nur dauert es ewig, ich komme auf Transferraten von 2,6 - 2,8MB/s. Die Sicherung erfolgt jeweils mit tar.

Rechner: Dell Optiplex 360 mit 4GB RAM und 160GB SATA-Platte, für die Anbindung des LTO4-Laufwerks ist ein LSI-Controller SAS3442E-HP über PCIe eingebaut. Der Rechner ist über eine Gbit-Anbindung mit dem Netzwerk verbunden.

Backupszenario 1: Sicherung der Daten von einem Samba-Netzwerkshare, das ebenfalls mit Gbit angebunden ist (Netgear ReadyNAS3100). Gesamtvolumen der zu sichernden Daten: knapp 400GB. Datentransferrate: 2,8MB/s

Backupszenario 2: Nicht sehr schnell, um auszuschließen, dass das Netzwerk den Flaschenhals darstellt, sichere ich auf dasselbe Laufwerk lokale Daten von der Festplatte auf Band. Datentransferrate: 1,5 - 1,8MB/s

Um zu sehen, ob auch wirklich alles erkannt wird, setze ich ein paar Befehle ab:

--> lspci
01:00.0 SCSI storage controller: LSI Logic / Symbios Logic SAS1068E PCI-Express Fusion-MPT SAS (rev 08)

--> lsscsi
[4:0:0:0] tape HP Ultrium 4-SCSI A63D /dev/st0

Vielleicht übersehe ich da einfach nur was? Selbst wenn da Tuning wie blocksize etc. fehlt, dürfte das doch nicht soooo langsam sein?

Gruß
Mitglied: 64748
06.05.2013 um 16:28 Uhr
Hallo,

wie genau lautet das Kommando welches die Datensicherung durchführt? Welcher User mit welchen Rechten führt die Sicherung durch?

bitte führe mal lspci mit der -k Option aus, dann wird auch das geladene Kernelmodul mit angezeigt und man kann mal feststellen, ob das wirklich der optimale Treiber ist.

Markus
Bitte warten ..
Mitglied: Lochkartenstanzer
06.05.2013 um 16:30 Uhr
Moin,

Wie schnell ist es denn, wenn Du direkt per dd auf das band sicherst? je nachdem, wie die Dateigrößen sind und die lokalen dateien verteilt sind, kann das durchaus ein realistischer Wert sein.

mach doch einfach mal ein

time dd_rescue -m 1G /dev/zero /dev/st0 
Dann solltest Du sehen, wie schnell das Ding bei großen Blöcken ist.

lks
Bitte warten ..
Mitglied: Lochkartenstanzer
06.05.2013 um 21:33 Uhr
nachtrag:

Macht das laufwerk eventuell Skipping, weil die Daten nicht schnell genug kommen? Das hört man normalerweise: Band hält an, läuft zurück, läuft wieder an. Das reduziert die Datenraten unters unterträgliche. dann würde sich ggf zweistufiges Backup anbieten: erst auf eine schnelle lokale Platte ein tarfile erzeugemn und dieses dann einfach per dd auf das band schieben.

lks
Bitte warten ..
Mitglied: Coreknabe
07.05.2013 um 09:18 Uhr
Moin,

danke für Eure Antworten.

lspci -k sieht gut aus:
01:00.0 SCSI storage controller: LSI Logic / Symbios Logic SAS1068E PCI-Express Fusion-MPT SAS (rev 08)
Subsystem: Hewlett-Packard Company SC44Ge Host Bus Adapter
Kernel driver in use: mptsas
Kernel modules: mptsas


time dd_rescue -m 1G /dev/zero /dev/st0:
dd_rescue: (warning): Don't use sparse writes for non-seekable output
dd_rescue: (info): ipos: 1048576.0k, opos: 1048576.0k, xferd: 1048576.0k
errs: 0, errxfer: 0.0k, succxfer: 1048576.0k
+curr.rate: 104886kB/s, avg.rate: 104354kB/s, avg.load: 6.3%
>-----------------------------------------< 100% ETA: 0:00:00
dd_rescue: (info): Summary for /dev/zero -> /dev/st0:
dd_rescue: (info): ipos: 1048576.0k, opos: 1048576.0k, xferd: 1048576.0k
errs: 0, errxfer: 0.0k, succxfer: 1048576.0k
+curr.rate: 0kB/s, avg.rate: 104353kB/s, avg.load: 6.3%
>-----------------------------------------< 100% ETA: 0:00:00
0.02user 0.61system 0:20.26elapsed 3%CPU (0avgtext+0avgdata 2656maxresident)k
0inputs+0outputs (0major+205minor)pagefaults 0swaps


@lks: Kann sein mit dem Skipping, wird im Netz auch häufiger als möglicher Grund angegeben. Habe den Controller aus einem Server ausgebaut und in einen PC ohne RAID verfrachtet... Ich werde das mal testen und poste dann hier das Ergebnis.
Bitte warten ..
Mitglied: Lochkartenstanzer
07.05.2013 um 11:01 Uhr
Zitat von Coreknabe:
+curr.rate: 0kB/s, avg.rate: 104353kB/s, avg.load: 6.3%

ca. 100MB/s sind ca. 360GB/h was ein durchaus normaler Wert ist.

Wie vermutet werden wahrscheinlich einfach die Daten zu langsam angeliefert.

lks
Bitte warten ..
Mitglied: Coreknabe
08.05.2013, aktualisiert um 09:59 Uhr
Moin,

ab sofort heißt "lks" für mich nicht mehr "Lochkartenstanzer", sondern "LinuxKennerSympathicus". Aus anderen Linuxforen kenne ich eher die nerdigen Sozialkompetenzvernachlässigten

Funktioniert, wenn ich erst auf die lokale Platte ein Image mit tar erstelle und dieses dann per
dd if=/da/istes.tgz of=/dev/st0 bs=1048576
auf das Band schreibe. Übertragungsrate ist dann immer mind. 105MB/s. Wichtig: Angabe der Blocksize, ist kein Wert angegeben, schnarcht auch hier die Datenübertragung bei 2,xMB/s !

Also Fall geschlossen, danke lks!

Gruß

P.S.: Und wieder einen Tag vor einem Tag, an dem man auch mal ein halbes Bier trinken kann: Schönen Vatertag!
Bitte warten ..
Mitglied: 64748
08.05.2013, aktualisiert um 10:30 Uhr
Guten Morgen,
Zitat von Coreknabe:
Moin,

ab sofort heißt "lks" für mich nicht mehr "Lochkartenstanzer", sondern
"LinuxKennerSympathicus". Aus anderen Linuxforen kenne ich eher die nerdigen Sozialkompetenzvernachlässigten
naja, das hat aber nix mit dem Betriebssystem zu tun. Sprich: solche Leute findest Du in Windowsforen auch ne Menge . Zumindest wenn man dort unterwegs ist als jemand, der von aktuellen Windowssystemen nicht soooo viel Ahnung hat....

Funktioniert, wenn ich erst auf die lokale Platte ein Image mit tar erstelle und dieses dann per
dd if=/da/istes.tgz of=/dev/st0 bs=1048576
auf das Band schreibe. Übertragungsrate ist dann immer mind. 105MB/s. Wichtig: Angabe der Blocksize, ist kein Wert angegeben,
schnarcht auch hier die Datenübertragung bei 2,xMB/s !
Danke für die genaue Beschreibung, gut zu wissen.

Kannst Du bitten mal posten, welches (genaue) Kommmando Du ursprünglich benutzt hast?

Also Fall geschlossen, danke lks!

Gruß

P.S.: Und wieder einen Tag vor einem Tag, an dem man auch mal ein halbes Bier trinken kann: Schönen Vatertag!
Viel Spaß

Markus
Bitte warten ..
Mitglied: Lochkartenstanzer
08.05.2013, aktualisiert um 10:40 Uhr
Zitat von Coreknabe:
"LinuxKennerSympathicus"

Danke für die Blumen. Aber das hat nichts mit linux zu tun, sondern eher mit grundlegenden Kenntnissen der Computertechnik. Die Pufferproblematik hat man nämlich mit allen Betriebssystemen (auch schon damals bei den 1/2"-Bändern).

Wichtig: Angabe der Blocksize, ist kein Wert angegeben,
schnarcht auch hier die Datenübertragung bei 2,xMB/s !

Deswegen habe ich mir inzwischen angewöhnt bei dd "bs=1M" automatisch mitzutippen.

danke lks!

gern geschehen.

P.S.: Und wieder einen Tag vor einem Tag, an dem man auch mal ein halbes Bier trinken kann: Schönen Vatertag!

Trink ein ganzes Bier, hat man mehr davon.

Wünsche ich Dir auch.

lks
Bitte warten ..
Mitglied: Coreknabe
08.05.2013 um 10:57 Uhr
> Moin,
>
> ab sofort heißt "lks" für mich nicht mehr "Lochkartenstanzer", sondern
> "LinuxKennerSympathicus". Aus anderen Linuxforen kenne ich eher die nerdigen Sozialkompetenzvernachlässigten

naja, das hat aber nix mit dem Betriebssystem zu tun. Sprich: solche Leute findest Du in Windowsforen auch ne Menge . Zumindest
wenn man dort unterwegs ist als jemand, der von aktuellen Windowssystemen nicht soooo viel Ahnung hat....

Naja, viele Linux-User sind schon speziell und aufgrund des genutzten Betriebssystems elitär. In Ihrer Welt. Klar gibt's das in der Windows-Welt auch, aber bedarf es schon spezieller Themen, in die man sich eingearbeitet hat. Und mich nervt's auch, wenn jemand sofort eine Frage postet, ohne vorher selbst was probiert zu haben oder mal zu recherchieren und nachzulesen. Aber das ist jetzt sehr OT.


Kannst Du bitten mal posten, welches (genaue) Kommmando Du ursprünglich benutzt hast?

Sicher.

Erstellen des Archivs auf die lokale Platte
tar -czf /da/istes.tgz /mnt/source

Sichern des Archivs auf Band
dd if=/da/istes.tgz of=/dev/st0 bs=1048576

Prüfen des Fortschritts, Absetzen des Befehls von einem zweiten Terminal
watch -d killall -SIGUSR1 dd
(https://www.administrator.de/link/bandsicherung-tar-statusabfrage-205704 ...)

Fertig!
Bitte warten ..
Ähnliche Inhalte
Ubuntu

Berechtigungsproblem Ubuntu LTS 12.04 var

gelöst Frage von Thomas91Ubuntu2 Kommentare

Hey Community, nach einem Stromausfall kann ich mit zwei Ubuntu 12.04 LTS Maschinen nicht mehr sauber arbeiten. Ich bekomme ...

Ubuntu

Ubuntu 12.04 LTS Squirrelmail + Vacations Plugin funktioniert nicht!

Frage von linguinUbuntu

Hallo, ich habe einen Ubuntu 12.04 LTS Server Postfix und Squirrelmail für Web Zugriff installiert. Das funktioniert. Nun wollte ...

Windows 10

FTP ist extrem langsam

Frage von grkaWindows 103 Kommentare

Hallo ich habe ein Windows 10 System und meine Internetverbindung über die Fritzbox 7490 hat folgende Werte: Download: bis ...

Router & Routing

Unitymedia EXTREM langsamer Download

gelöst Frage von the-buccaneerRouter & Routing6 Kommentare

Moinsen zusammen! Kunde hat neuen Unitymedia Business Anschluss mit fester IP. Kabel "Modem" Hitron wurde von UM vor Ort ...

Neue Wissensbeiträge
Humor (lol)
IoT-Gefahr: Smartes Aquarium leckt!
Information von Lochkartenstanzer vor 1 TagHumor (lol)3 Kommentare

Moin, Die IoT-Manie hat weitere Opfer gefunden. Ein Casino-Leck durch ein smartes Aquarium: Allerdings haben sie kein Wasser, sondern ...

Router & Routing

Alte Fritzbox 7270 mit VPN und SIP-Telefonie hinter O2 Homebox 6641 als "Modem"

Erfahrungsbericht von the-buccaneer vor 2 TagenRouter & Routing3 Kommentare

Nun war es soweit: Auch O2 hat mich mit VOIP zwangsbeglückt. Heute am Privatanschluss, in 2 Wochen ist das ...

Sicherheit

Ungepatchte Remote Code Execution-Lücke in LG NAS

Information von kgborn vor 2 TagenSicherheit

Nutzt wer LG NAS-Einheiten? In den NAS-Einheiten der LG Network Storage-Einheiten gibt es eine sehr unschöne Schwachstelle, die einen ...

Windows Update

Neue Version KB4099950 NIC Einstellungen gehen verloren

Information von sabines vor 2 TagenWindows Update2 Kommentare

Es ist eine neue Version des KB4099950 verfügbar, die das Problem mit den verlorenen Netzwerkeinstellungen lösen soll. Das Datum ...

Heiß diskutierte Inhalte
Linux Netzwerk
Raspberry Pi 3: WLAN Power save deaktivieren
Frage von nordie92Linux Netzwerk14 Kommentare

Moin moin, mein Raspberry Pi 3 Model B benötigt eine dauerhaft aktive WLAN-Verbindung. Leider bricht die WLAN-Verbindung nach einigen ...

Netzwerkmanagement
Netzwerkmanagment im Haus mit Switch, Panel und pfsense
gelöst Frage von CorraggiounoNetzwerkmanagement13 Kommentare

hi zusammen, wir sind gerade dabei das ganze Haus bzw. die einzelnen Zimmer mit netzwerkdosen zu versorgen. Vom Keller ...

Vmware
Server 2008 r2 vmware terminalserver
Frage von MasterCVmware12 Kommentare

Guten Abend zusammen, ich hoffe , dass einer von euch mir weiterhelfen kann ,bei meinem kack Problem ! Ist ...

Google Android
Empfehlung: Android Ortungsapp
gelöst Frage von certifiedit.netGoogle Android12 Kommentare

Guten Morgen, grundsätzlich vorweg, ich wollte mich eben schlau machen, bzgl einer Ortungsapp, welche Androidbasiert einem anderen Androidsmartphone mitteilt, ...