Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Rsync über Lan Langsam... richtig Langsam

Frage Netzwerke

Mitglied: Aranha

Aranha (Level 1) - Jetzt verbinden

29.11.2007, aktualisiert 05.12.2007, 11837 Aufrufe, 4 Kommentare

1,5 MB/s via Gigabit Crosskabel

Hallo Leute.

Ich habe meinen Server (Win 2k3 SP2) direkt mit einem Kabel mit meinem Backup-Rechner (Win XP SP2) verbunden.
Dort will ich via RSync meine Backups rauffahren.

Also habe ich auf der Xp-Kiste den Rsync Server installiert und auf der 2k3-Kiste den Client.
Den Client starte ich dann wie folg:

Rsync -avHWt --progress *Quelle* *Ziel*

Dass er bei vielen tausend kleinen Dateien lange brauch ist ja fast OK.
Das Problem sehe ich bei größeren Dateien: eine 1GB datei braucht ca. 11 minuten (mehrfach gemessen).
Da wir eine Filmproduktionsfirma sind, sind Files dieser Größenordnung voll Normal.
Am Ende hänge ich da mit knapp 2TB Daten und muss meinen Leuten erklären, dass ein Wochenende für ein Backup nicht ausreicht.

Nun heißt es schnell wieder, dass Rsync ja immer die Files prüfen muss und so.
1. Der Parameter -W lässt Rsync nur den Timestamp und die Größe prüfen, und dann die ganze Datei kopieren.
2. Ich sehe dank -v und --Progress ja, wie er sich da einen abkrampft mit der Datei.
(er zeigt mir sogar stolz noch die Datenrate von 1,5Mb/s an)

Ich habe dann während des kopierprozesses auf beiden Rechnern Systemmonitore laufen lassen:
Selbst wenn ich alle Rsync Prozesse auf Echtzeit-Priorität laufen lasse, meint keine einzige CPU sich über die 5% Hürde hinweg bemühen zu müssen, die Netzwerkauslastung durchbricht selten die 2% Schallmauer und die Platten haben schon aufgeregter vor sich hingeklackert als ich mit 56k-Modem was 'gezogen' habe.

Alle Firewalls sind aus und das Kopieren via Explorer geht x-mal schneller.

Ist Rsync irgendwie 'beschrängt' oder sowas?

Hat da irgenwer ne Idee?

Ich dank euch schon im vorraus.

Beste Grüße,
Aranha

P.S.: So, habe grad mal mit Jumboframes rumgespielt: bei 9014Byte dauerts nur noch 8:30min Immernoch grotte Langsam, aber prozenzual gesehen schon ne Steigerung.
Mitglied: sjuerges
29.11.2007 um 07:34 Uhr
Guten Morgen,

hast du denn schon ein bisschen "Problemzonen" ausgeschlossen ... ?

Also ich würde erstmal so vorgehen.

1) Netzwerklasttest machen mit anderen Programmen, bei GBit solltest du zumindest 20 MB/s (megabyte, nicht megabit) erreichen.

2) Wenn transferrate mit anderen programm (ftp / smb / netzlasttest) besser ist: gehe zu 5)

3) Wenn transferrate schlecht ist --> netzwerkkarte tauschen. wenns dann besser: gehe zu 5)

4) Wenn transferrate schlecht ist --> verkabelung tauschen, muss mi. Cat5 sein, wenns dann besser: gehe zu 5)

5) Feddich


Gibt natürlcih auch noch andere Fehlerquellen, aber erstmal sollte man auschliessen das es am netzwerk liegt.
Bitte warten ..
Mitglied: aqui
30.11.2007 um 12:55 Uhr
Bei 4 könnte man noch addieren Das du mal deine Netzwerkkarte checken solltest....(leider teilst du uns das ja auch nicht mit was du da verwendest )

Ist es eine dumme PCI attachte mit Realtek Chipsatz die das Packet Handling der CPU aufbürdet ?? -> Austauschen

Der Netzwerk Adapter sollte bei GiG (wenne s denn GiG ist ??) mindestens PCIx attached sein oder eine PCIx Karte und dann möglichst ohne Realtek o.ä. Chipsatz sein.
Am besten ist für solche Zwecke einen GiG Adapter der Chipsatz angebunden ist auf dem MB über die North- oder Southbridge !!

Wie gesagt erstmal ohne den dummen Windows CIFS Overhead messen mit einem Programm wie z.B. NetIO
http://www.ars.de/ars/ars.nsf/docs/netio
das sagt dir wenigstens unabhängig vom Windows wie performant dein Netzwerk direkt ist.
Dann kann man weitersehen....

Netio ist selbsterklärend wenn du es in der Eingabeaufforderung ohne Parameter aufrufst. Starten geht mit

netio -t -s auf dem Server und netio -t <ip_addr_server> auf dem Client.
Bitte warten ..
Mitglied: Aranha
05.12.2007 um 00:12 Uhr
Heho!

Ich hab mir jetzt zwei schicke Intel Pro/1000 PT Serveradapter ein die PCIx Plätze der beiden Rechner gesteckt, und

diese direkt miteinander verbunden. (CAT5e neu)

Zu Testzwecken hab ich mir nun folgenden zu Backupende Ordner mit folgenden Files erstellt:

Anz. Größe
1000 x 0001 Kbyte
1000 x 0002 Kbyte
0500 x 0010 Kbyte
0250 x 0100 Kbyte
0025 x 0500 Kbyte
0010 x 1000 Kbyte
0005 x 2000 Kbyte

1 x 10 Mbyte
1 x 50 Mbyte

Insgesamt sind es 122MB in 2792 Files

Die Files werden in genau dieser Reihenfolge kopiert.
Da die Daten auf dem Backuprechner auf ein Softwareraid geschrieben werden, kann ich mir anhand der CPU-Auslastung

anschauen, wie hoch der Durchsatz Netto zu sein scheint.

Bei den Default Einstellungen gehen die vielen kleinen Files flutsch rüber. Sobald es etwas größer wird bricht die

Performance drastisch ein.

Die einzige Einstellung, die merklich etwas bewirkt sind die Jumboframes:
Nehme ich hier die 9014'er, dauern die kleinen Files ewig lang und die Dicken flutschen so durch.

Ich bekomme die Dateien nicht unter 2Min gebackupt.

Wenn ich die Dateien via Explorer kopiere bin ich mit 30sec dabei.

Wenn ich ein pures 1Gyte File mit Jumboframes via Rsync Backupen lasse, komme ich auf ca. 7,5Mb/sec (1123Mb in

154sec).
Der explorer schmeisst es mir in weniger als ner Mintute rüber (Da ist das Sofwareraid meiner Backupgurke das

Nadelör).

Ich stecke so ein bisschen in dem Dilemma, dass ich sowohl viele kleine Files Backupen muss, als auch ein ganzen

haufen Großer Video-Files und DVD-Images(Filmproduktionsfirma)
Der Datenstamm kann gerne innerhalb des nächsten Jahren auf ein paar Terabyte anwachsen.

Die --Sparse funktion hilft leider nicht weiter. Sie zieht die Sache eher in die Länge (+20 sec.)

Ich mache die Tage nochmal ein paar Tests mit Netio & co, aber das Problem scheint mir wirklich RSync zu sein,

oder?

Bin offen für alles, und werd morgen mal mit NETIO spielen und wieder Posten.

Danke schonmal soweit.

Grüße,
Aranha
Bitte warten ..
Mitglied: Aranha
26.06.2012 um 21:35 Uhr
Damals nicht zu gekommen, daher die Lösung Jahre später:

Der Grafikkartentreiber war nicht installiert.
Ehrlich: RSync rauscht ja normalerweise die Tausenden von Dateien durch.
Da aber die Grafikausgabe nicht hinterherkam...
Bin drauf gekommen, als ich das Fenster mal minimiert hatte, und die Netzwerklast in die Höhe schoss.
Tja...
Bitte warten ..
Neuester Wissensbeitrag
Humor (lol)

Linkliste für Adventskalender

(3)

Information von nikoatit zum Thema Humor (lol) ...

Ähnliche Inhalte
Festplatten, SSD, Raid
gelöst Rsync unter Windows mit cygwin langsam (4)

Frage von ketanest112 zum Thema Festplatten, SSD, Raid ...

Windows Update
gelöst WSUS-Downloads im LAN extrem langsam seit Win-10-Anniversary-Update 1607 (1)

Frage von departure69 zum Thema Windows Update ...

LAN, WAN, Wireless
gelöst LAN Plötzlich langsam (12)

Frage von KodaCH zum Thema LAN, WAN, Wireless ...

Heiß diskutierte Inhalte
Windows Server
DHCP Server switchen (24)

Frage von M.Marz zum Thema Windows Server ...

SAN, NAS, DAS
gelöst HP-Proliant Microserver Betriebssystem (14)

Frage von Yannosch zum Thema SAN, NAS, DAS ...

Grafikkarten & Monitore
Win 10 Grafikkarte Crash von Software? (13)

Frage von Marabunta zum Thema Grafikkarten & Monitore ...

Erkennung und -Abwehr
Spam mit eigener Domain (12)

Frage von NoobOne zum Thema Erkennung und -Abwehr ...