4
Rsync über Lan Langsam... richtig Langsam
1,5 MB/s via Gigabit Crosskabel
Hallo Leute.
Ich habe meinen Server (Win 2k3 SP2) direkt mit einem Kabel mit meinem Backup-Rechner (Win XP SP2) verbunden.
Dort will ich via RSync meine Backups rauffahren.
Also habe ich auf der Xp-Kiste den Rsync Server installiert und auf der 2k3-Kiste den Client.
Den Client starte ich dann wie folg:
Rsync -avHWt --progress *Quelle* *Ziel*
Dass er bei vielen tausend kleinen Dateien lange brauch ist ja fast OK.
Das Problem sehe ich bei größeren Dateien: eine 1GB datei braucht ca. 11 minuten (mehrfach gemessen).
Da wir eine Filmproduktionsfirma sind, sind Files dieser Größenordnung voll Normal.
Am Ende hänge ich da mit knapp 2TB Daten und muss meinen Leuten erklären, dass ein Wochenende für ein Backup nicht ausreicht.
Nun heißt es schnell wieder, dass Rsync ja immer die Files prüfen muss und so.
1. Der Parameter -W lässt Rsync nur den Timestamp und die Größe prüfen, und dann die ganze Datei kopieren.
2. Ich sehe dank -v und --Progress ja, wie er sich da einen abkrampft mit der Datei.
(er zeigt mir sogar stolz noch die Datenrate von 1,5Mb/s an)
Ich habe dann während des kopierprozesses auf beiden Rechnern Systemmonitore laufen lassen:
Selbst wenn ich alle Rsync Prozesse auf Echtzeit-Priorität laufen lasse, meint keine einzige CPU sich über die 5% Hürde hinweg bemühen zu müssen, die Netzwerkauslastung durchbricht selten die 2% Schallmauer und die Platten haben schon aufgeregter vor sich hingeklackert als ich mit 56k-Modem was 'gezogen' habe.
Alle Firewalls sind aus und das Kopieren via Explorer geht x-mal schneller.
Ist Rsync irgendwie 'beschrängt' oder sowas?
Hat da irgenwer ne Idee?
Ich dank euch schon im vorraus.
Beste Grüße,
Aranha
P.S.: So, habe grad mal mit Jumboframes rumgespielt: bei 9014Byte dauerts nur noch 8:30min Immernoch grotte Langsam, aber prozenzual gesehen schon ne Steigerung.
Ich habe meinen Server (Win 2k3 SP2) direkt mit einem Kabel mit meinem Backup-Rechner (Win XP SP2) verbunden.
Dort will ich via RSync meine Backups rauffahren.
Also habe ich auf der Xp-Kiste den Rsync Server installiert und auf der 2k3-Kiste den Client.
Den Client starte ich dann wie folg:
Rsync -avHWt --progress *Quelle* *Ziel*
Dass er bei vielen tausend kleinen Dateien lange brauch ist ja fast OK.
Das Problem sehe ich bei größeren Dateien: eine 1GB datei braucht ca. 11 minuten (mehrfach gemessen).
Da wir eine Filmproduktionsfirma sind, sind Files dieser Größenordnung voll Normal.
Am Ende hänge ich da mit knapp 2TB Daten und muss meinen Leuten erklären, dass ein Wochenende für ein Backup nicht ausreicht.
Nun heißt es schnell wieder, dass Rsync ja immer die Files prüfen muss und so.
1. Der Parameter -W lässt Rsync nur den Timestamp und die Größe prüfen, und dann die ganze Datei kopieren.
2. Ich sehe dank -v und --Progress ja, wie er sich da einen abkrampft mit der Datei.
(er zeigt mir sogar stolz noch die Datenrate von 1,5Mb/s an)
Ich habe dann während des kopierprozesses auf beiden Rechnern Systemmonitore laufen lassen:
Selbst wenn ich alle Rsync Prozesse auf Echtzeit-Priorität laufen lasse, meint keine einzige CPU sich über die 5% Hürde hinweg bemühen zu müssen, die Netzwerkauslastung durchbricht selten die 2% Schallmauer und die Platten haben schon aufgeregter vor sich hingeklackert als ich mit 56k-Modem was 'gezogen' habe.
Alle Firewalls sind aus und das Kopieren via Explorer geht x-mal schneller.
Ist Rsync irgendwie 'beschrängt' oder sowas?
Hat da irgenwer ne Idee?
Ich dank euch schon im vorraus.
Beste Grüße,
Aranha
P.S.: So, habe grad mal mit Jumboframes rumgespielt: bei 9014Byte dauerts nur noch 8:30min Immernoch grotte Langsam, aber prozenzual gesehen schon ne Steigerung.
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 74758
Url: https://administrator.de/contentid/74758
Printed on: April 18, 2024 at 00:04 o'clock
4 Comments
Latest comment
Guten Morgen,
hast du denn schon ein bisschen "Problemzonen" ausgeschlossen ... ?
Also ich würde erstmal so vorgehen.
1) Netzwerklasttest machen mit anderen Programmen, bei GBit solltest du zumindest 20 MB/s (megabyte, nicht megabit) erreichen.
2) Wenn transferrate mit anderen programm (ftp / smb / netzlasttest) besser ist: gehe zu 5)
3) Wenn transferrate schlecht ist --> netzwerkkarte tauschen. wenns dann besser: gehe zu 5)
4) Wenn transferrate schlecht ist --> verkabelung tauschen, muss mi. Cat5 sein, wenns dann besser: gehe zu 5)
5) Feddich
Gibt natürlcih auch noch andere Fehlerquellen, aber erstmal sollte man auschliessen das es am netzwerk liegt.
hast du denn schon ein bisschen "Problemzonen" ausgeschlossen ... ?
Also ich würde erstmal so vorgehen.
1) Netzwerklasttest machen mit anderen Programmen, bei GBit solltest du zumindest 20 MB/s (megabyte, nicht megabit) erreichen.
2) Wenn transferrate mit anderen programm (ftp / smb / netzlasttest) besser ist: gehe zu 5)
3) Wenn transferrate schlecht ist --> netzwerkkarte tauschen. wenns dann besser: gehe zu 5)
4) Wenn transferrate schlecht ist --> verkabelung tauschen, muss mi. Cat5 sein, wenns dann besser: gehe zu 5)
5) Feddich
Gibt natürlcih auch noch andere Fehlerquellen, aber erstmal sollte man auschliessen das es am netzwerk liegt.
Bei 4 könnte man noch addieren Das du mal deine Netzwerkkarte checken solltest....(leider teilst du uns das ja auch nicht mit was du da verwendest 
)
Ist es eine dumme PCI attachte mit Realtek Chipsatz die das Packet Handling der CPU aufbürdet ?? -> Austauschen
Der Netzwerk Adapter sollte bei GiG (wenne s denn GiG ist ??) mindestens PCIx attached sein oder eine PCIx Karte und dann möglichst ohne Realtek o.ä. Chipsatz sein.
Am besten ist für solche Zwecke einen GiG Adapter der Chipsatz angebunden ist auf dem MB über die North- oder Southbridge !!
Wie gesagt erstmal ohne den dummen Windows CIFS Overhead messen mit einem Programm wie z.B. NetIO
http://www.ars.de/ars/ars.nsf/docs/netio
das sagt dir wenigstens unabhängig vom Windows wie performant dein Netzwerk direkt ist.
Dann kann man weitersehen....
Netio ist selbsterklärend wenn du es in der Eingabeaufforderung ohne Parameter aufrufst. Starten geht mit
netio -t -s auf dem Server und netio -t <ip_addr_server> auf dem Client.
)Ist es eine dumme PCI attachte mit Realtek Chipsatz die das Packet Handling der CPU aufbürdet ?? -> Austauschen
Der Netzwerk Adapter sollte bei GiG (wenne s denn GiG ist ??) mindestens PCIx attached sein oder eine PCIx Karte und dann möglichst ohne Realtek o.ä. Chipsatz sein.
Am besten ist für solche Zwecke einen GiG Adapter der Chipsatz angebunden ist auf dem MB über die North- oder Southbridge !!
Wie gesagt erstmal ohne den dummen Windows CIFS Overhead messen mit einem Programm wie z.B. NetIO
http://www.ars.de/ars/ars.nsf/docs/netio
das sagt dir wenigstens unabhängig vom Windows wie performant dein Netzwerk direkt ist.
Dann kann man weitersehen....
Netio ist selbsterklärend wenn du es in der Eingabeaufforderung ohne Parameter aufrufst. Starten geht mit
netio -t -s auf dem Server und netio -t <ip_addr_server> auf dem Client.
Heho!
Ich hab mir jetzt zwei schicke Intel Pro/1000 PT Serveradapter ein die PCIx Plätze der beiden Rechner gesteckt, und
diese direkt miteinander verbunden. (CAT5e neu)
Zu Testzwecken hab ich mir nun folgenden zu Backupende Ordner mit folgenden Files erstellt:
Anz. Größe
1000 x 0001 Kbyte
1000 x 0002 Kbyte
0500 x 0010 Kbyte
0250 x 0100 Kbyte
0025 x 0500 Kbyte
0010 x 1000 Kbyte
0005 x 2000 Kbyte
1 x 10 Mbyte
1 x 50 Mbyte
Insgesamt sind es 122MB in 2792 Files
Die Files werden in genau dieser Reihenfolge kopiert.
Da die Daten auf dem Backuprechner auf ein Softwareraid geschrieben werden, kann ich mir anhand der CPU-Auslastung
anschauen, wie hoch der Durchsatz Netto zu sein scheint.
Bei den Default Einstellungen gehen die vielen kleinen Files flutsch rüber. Sobald es etwas größer wird bricht die
Performance drastisch ein.
Die einzige Einstellung, die merklich etwas bewirkt sind die Jumboframes:
Nehme ich hier die 9014'er, dauern die kleinen Files ewig lang und die Dicken flutschen so durch.
Ich bekomme die Dateien nicht unter 2Min gebackupt.
Wenn ich die Dateien via Explorer kopiere bin ich mit 30sec dabei.
Wenn ich ein pures 1Gyte File mit Jumboframes via Rsync Backupen lasse, komme ich auf ca. 7,5Mb/sec (1123Mb in
154sec).
Der explorer schmeisst es mir in weniger als ner Mintute rüber (Da ist das Sofwareraid meiner Backupgurke das
Nadelör).
Ich stecke so ein bisschen in dem Dilemma, dass ich sowohl viele kleine Files Backupen muss, als auch ein ganzen
haufen Großer Video-Files und DVD-Images(Filmproduktionsfirma)
Der Datenstamm kann gerne innerhalb des nächsten Jahren auf ein paar Terabyte anwachsen.
Die --Sparse funktion hilft leider nicht weiter. Sie zieht die Sache eher in die Länge (+20 sec.)
Ich mache die Tage nochmal ein paar Tests mit Netio & co, aber das Problem scheint mir wirklich RSync zu sein,
oder?
Bin offen für alles, und werd morgen mal mit NETIO spielen und wieder Posten.
Danke schonmal soweit.
Grüße,
Aranha
Ich hab mir jetzt zwei schicke Intel Pro/1000 PT Serveradapter ein die PCIx Plätze der beiden Rechner gesteckt, und
diese direkt miteinander verbunden. (CAT5e neu)
Zu Testzwecken hab ich mir nun folgenden zu Backupende Ordner mit folgenden Files erstellt:
Anz. Größe
1000 x 0001 Kbyte
1000 x 0002 Kbyte
0500 x 0010 Kbyte
0250 x 0100 Kbyte
0025 x 0500 Kbyte
0010 x 1000 Kbyte
0005 x 2000 Kbyte
1 x 10 Mbyte
1 x 50 Mbyte
Insgesamt sind es 122MB in 2792 Files
Die Files werden in genau dieser Reihenfolge kopiert.
Da die Daten auf dem Backuprechner auf ein Softwareraid geschrieben werden, kann ich mir anhand der CPU-Auslastung
anschauen, wie hoch der Durchsatz Netto zu sein scheint.
Bei den Default Einstellungen gehen die vielen kleinen Files flutsch rüber. Sobald es etwas größer wird bricht die
Performance drastisch ein.
Die einzige Einstellung, die merklich etwas bewirkt sind die Jumboframes:
Nehme ich hier die 9014'er, dauern die kleinen Files ewig lang und die Dicken flutschen so durch.
Ich bekomme die Dateien nicht unter 2Min gebackupt.
Wenn ich die Dateien via Explorer kopiere bin ich mit 30sec dabei.
Wenn ich ein pures 1Gyte File mit Jumboframes via Rsync Backupen lasse, komme ich auf ca. 7,5Mb/sec (1123Mb in
154sec).
Der explorer schmeisst es mir in weniger als ner Mintute rüber (Da ist das Sofwareraid meiner Backupgurke das
Nadelör).
Ich stecke so ein bisschen in dem Dilemma, dass ich sowohl viele kleine Files Backupen muss, als auch ein ganzen
haufen Großer Video-Files und DVD-Images(Filmproduktionsfirma)
Der Datenstamm kann gerne innerhalb des nächsten Jahren auf ein paar Terabyte anwachsen.
Die --Sparse funktion hilft leider nicht weiter. Sie zieht die Sache eher in die Länge (+20 sec.)
Ich mache die Tage nochmal ein paar Tests mit Netio & co, aber das Problem scheint mir wirklich RSync zu sein,
oder?
Bin offen für alles, und werd morgen mal mit NETIO spielen und wieder Posten.
Danke schonmal soweit.
Grüße,
Aranha
Damals nicht zu gekommen, daher die Lösung Jahre später:
Der Grafikkartentreiber war nicht installiert.
Ehrlich: RSync rauscht ja normalerweise die Tausenden von Dateien durch.
Da aber die Grafikausgabe nicht hinterherkam...
Bin drauf gekommen, als ich das Fenster mal minimiert hatte, und die Netzwerklast in die Höhe schoss.
Tja...
Der Grafikkartentreiber war nicht installiert.
Ehrlich: RSync rauscht ja normalerweise die Tausenden von Dateien durch.
Da aber die Grafikausgabe nicht hinterherkam...
Bin drauf gekommen, als ich das Fenster mal minimiert hatte, und die Netzwerklast in die Höhe schoss.
Tja...
