7
55MBs via Gigabit mit Raid5
Hallo zusammen,
mein Problem ist, dass ich zwischen meinem Server und den Clients beim Übertragen (Lesen vom Server zum Client) großer Dateien (> 2GB) einen Einbruch in der Übertragungsgeschwindigkeit verzeichne.
Die Übertragung startet mit ca 80 - 90MB/s und pegelt sich dann bei ca 50MB/s ein.
Situation während der Dateiübertragung:
Die Auslastung der Server-CPU während der Übertragung liegt bei 60-70% (beide Kerne). Es macht keinen Unterschied ob ich vom Raid5 oder Raid1 lese - gleiches Verhalten. Die CPU-Auslastung beim Client liegt 30%. Die Auslastung des Arbeitsspeichers des Servers steigt während der Übertragung auf nahezu 100%. Hatte vorher 2GB - jetzt 4. Durch die Aufrüstung hat sich keine Leistungssteigerung ergeben.
Auf beiden NIC (Sender- Empfänger) ist RSS aktiviert. Die Last wird auch auf mehrere Kerne verteilt.
Benchmarkverhalten:
Mit HDD-Benchmarks erreiche ich durchweg ca 100MB/s auf beiden Raids bei 9-fachem Durchlauf - somit sind Schwankungen ausgeschlossen.
Mit IP-Perf erreiche ich auch durchweg die 90MB/s via Netzwerk, somit kann man meiner Meinung nach die Treiber der NW-Karte ausschließen?
Zwischen Server-Client befindet sich ein Switch. Aber keine Billigware: 3-Com mit Non-Blocking Backplane.
Die Kabel sind hochwertige Cat7 Kabel.
Mein Problem ist, dass ich den Flaschenhals nicht finde!! Bzw. ich weiß nicht mehr wo ich ansetzen soll.
Danke im Voraus!
Gruß Etienne
Server:
Windows Server 2008 64-Bit
Raid 5 (5x1TB)
Raid 1 (2x640GB)
AMD Dual Core 2,5GHz
4GB Ram
Intel Pro 1000 Server
4 Platten hängen direkt am Board und 3 an einem PCI Controller (aber unerheblich da Benchmar mit 100MB/s läuft)
Clients:
Windows 7 - 64-Bit
Quadcore 2,4GHz
4GB Ram
mein Problem ist, dass ich zwischen meinem Server und den Clients beim Übertragen (Lesen vom Server zum Client) großer Dateien (> 2GB) einen Einbruch in der Übertragungsgeschwindigkeit verzeichne.
Die Übertragung startet mit ca 80 - 90MB/s und pegelt sich dann bei ca 50MB/s ein.
Situation während der Dateiübertragung:
Die Auslastung der Server-CPU während der Übertragung liegt bei 60-70% (beide Kerne). Es macht keinen Unterschied ob ich vom Raid5 oder Raid1 lese - gleiches Verhalten. Die CPU-Auslastung beim Client liegt 30%. Die Auslastung des Arbeitsspeichers des Servers steigt während der Übertragung auf nahezu 100%. Hatte vorher 2GB - jetzt 4. Durch die Aufrüstung hat sich keine Leistungssteigerung ergeben.
Auf beiden NIC (Sender- Empfänger) ist RSS aktiviert. Die Last wird auch auf mehrere Kerne verteilt.
Benchmarkverhalten:
Mit HDD-Benchmarks erreiche ich durchweg ca 100MB/s auf beiden Raids bei 9-fachem Durchlauf - somit sind Schwankungen ausgeschlossen.
Mit IP-Perf erreiche ich auch durchweg die 90MB/s via Netzwerk, somit kann man meiner Meinung nach die Treiber der NW-Karte ausschließen?
Zwischen Server-Client befindet sich ein Switch. Aber keine Billigware: 3-Com mit Non-Blocking Backplane.
Die Kabel sind hochwertige Cat7 Kabel.
Mein Problem ist, dass ich den Flaschenhals nicht finde!! Bzw. ich weiß nicht mehr wo ich ansetzen soll.
Danke im Voraus!
Gruß Etienne
Server:
Windows Server 2008 64-Bit
Raid 5 (5x1TB)
Raid 1 (2x640GB)
AMD Dual Core 2,5GHz
4GB Ram
Intel Pro 1000 Server
4 Platten hängen direkt am Board und 3 an einem PCI Controller (aber unerheblich da Benchmar mit 100MB/s läuft)
Clients:
Windows 7 - 64-Bit
Quadcore 2,4GHz
4GB Ram
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 157659
Url: https://administrator.de/contentid/157659
Printed on: April 26, 2024 at 09:04 o'clock
7 Comments
Latest comment
Hi Etienne,
ich kenne so ein Verhalten durchaus von manchen IBM NICs oder HP Procurve Switches. Mich macht bei der Übertragung die CPU Last etwas stutzig und die Speicherauslastung während des Transfers. Welcher Prozess im Taskmanager zieht denn dort die Leistung beim Datentransfer ? Ist der Raidcontroller für Datenbanken konfiguriert ?
Ich würde Testweise:
1. Die NIC von Full/Auto auf Half Duplex stellen
2. Testweise mal ein kleines Gigabit Noname Switch Testen ob das Problem da auch auftritt.
3. Muss ich noch weiter nachdenken.
mfg ygg
ich kenne so ein Verhalten durchaus von manchen IBM NICs oder HP Procurve Switches. Mich macht bei der Übertragung die CPU Last etwas stutzig und die Speicherauslastung während des Transfers. Welcher Prozess im Taskmanager zieht denn dort die Leistung beim Datentransfer ? Ist der Raidcontroller für Datenbanken konfiguriert ?
Ich würde Testweise:
1. Die NIC von Full/Auto auf Half Duplex stellen
2. Testweise mal ein kleines Gigabit Noname Switch Testen ob das Problem da auch auftritt.
3. Muss ich noch weiter nachdenken.
mfg ygg
Komischer Thread mit einem Winblows Server im Themen Bereich Betriebssysteme - Linux & Unix - Netzwerk ? Oder ist Win jetzt Unix basierend ?? 
(Kannst du übrigens selber in den richtigen Bereich verschieben wenn du auf "Bearbeiten" klickst und unten den Bereich neu wählst wie z.B. "Winblows --> Netzwerk" !)
Am 3Com kanns ja logischerweise auch nicht liegen wenn IPerf dir schon 90MByte/s via Netzwerk ausgegeben hat, denn er wird ja vermutlich dazwischen gehangen haben. Bedenke sofern du mit CIFS/SMB kopierst das das sehr ineffizent ist und in der Regel erheblich weniger Durchsatz hat als FTP oder NFS z.B. !
Ggf. nochmal das hier lesen:
http://www.microsoft.com/whdc/system/sysperf/perf_tun_srv.mspx
(Kannst du übrigens selber in den richtigen Bereich verschieben wenn du auf "Bearbeiten" klickst und unten den Bereich neu wählst wie z.B. "Winblows --> Netzwerk" !)
Am 3Com kanns ja logischerweise auch nicht liegen wenn IPerf dir schon 90MByte/s via Netzwerk ausgegeben hat, denn er wird ja vermutlich dazwischen gehangen haben. Bedenke sofern du mit CIFS/SMB kopierst das das sehr ineffizent ist und in der Regel erheblich weniger Durchsatz hat als FTP oder NFS z.B. !
Ggf. nochmal das hier lesen:
http://www.microsoft.com/whdc/system/sysperf/perf_tun_srv.mspx
Hallo Yggdrasul,
hallo aqui,
Vielen Dank für eure Tipps.
@Yggdrasul
im Taskmanager lastet der Prozess System die CPU mit 45-60% aus. Werde die Umstellung der Geschwindigkeit mal testen. Aber wie gesagt im IP-Perf komme ich auf die volle Geschwindikeit. Widerspricht sich ja.
@aqui
Switch hing auch beim IP-Perf Benchmark dazwischen. Die Übertragung teste ich ja mit Windows --> NFS, oder liege ich da falsch?
Werde nochmal den Link studieren.
Weitere Vorschläge sind willkommen!
hallo aqui,
Vielen Dank für eure Tipps.
@Yggdrasul
im Taskmanager lastet der Prozess System die CPU mit 45-60% aus. Werde die Umstellung der Geschwindigkeit mal testen. Aber wie gesagt im IP-Perf komme ich auf die volle Geschwindikeit. Widerspricht sich ja.
@aqui
Switch hing auch beim IP-Perf Benchmark dazwischen. Die Übertragung teste ich ja mit Windows --> NFS, oder liege ich da falsch?
Werde nochmal den Link studieren.
Weitere Vorschläge sind willkommen!
Hallo,
Zwischen Server-Client befindet sich ein Switch. Aber keine Billigware: 3-Com mit Non-Blocking Backplane.
Die Kabel sind hochwertige Cat7 Kabel.
Vielleicht keine Bilig Ware aber mit Sicherheit kein Hoch performantes oder effizient arbeitendes Gerät...
Kannst du Testweise mal (nach Feierabend oder über eine Freie Netzwerkkarte) einen Client mal direkt and Server hängen und die Daten übertragen, nur um auszuschliessen das dein 3-com
Switch nicht doch der Übeltäter ist.
Mit welchen Parametern hast du IP-Perf den laufen lassen und wann und wie lange?
brammer
Zwischen Server-Client befindet sich ein Switch. Aber keine Billigware: 3-Com mit Non-Blocking Backplane.
Die Kabel sind hochwertige Cat7 Kabel.
Kannst du Testweise mal (nach Feierabend oder über eine Freie Netzwerkkarte) einen Client mal direkt and Server hängen und die Daten übertragen, nur um auszuschliessen das dein 3-com
Switch nicht doch der Übeltäter ist.
Mit welchen Parametern hast du IP-Perf den laufen lassen und wann und wie lange?
brammer
Richtig ! Das macht den Test dann wirklich wasserdicht.
Was meinst du mit "Die Übertragung teste ich ja mit Windows --> NFS, oder liege ich da falsch? " ??
Testest du mit NFS oder nicht ?? Wenn du nur dumm Dateien über den Explorer kopierst nutzt du das Windows bordeigenen CIFS/SMB mit all seinen Nachteilen.
Für NFS müsstest du einen separaten Client installieren !! Oder mal einen Wireshark Sniffer dazwischenhängen und nachsehen ?!
Leider kann man übers Forum nicht raten mit was du testet...obwohl, mal sehen.... mmmhhh mit diesem_Tool müsste man es doch sehen können...
Was meinst du mit "Die Übertragung teste ich ja mit Windows --> NFS, oder liege ich da falsch? " ??
Testest du mit NFS oder nicht ?? Wenn du nur dumm Dateien über den Explorer kopierst nutzt du das Windows bordeigenen CIFS/SMB mit all seinen Nachteilen.
Für NFS müsstest du einen separaten Client installieren !! Oder mal einen Wireshark Sniffer dazwischenhängen und nachsehen ?!
Leider kann man übers Forum nicht raten mit was du testet...obwohl, mal sehen.... mmmhhh mit diesem_Tool müsste man es doch sehen können...
Das Verhalten ist doch normal.
Die ersten paar MB bekommst du aus dem Cache vom System und Cache vom Controller (sowie ein bisschen Read-Ahead), dann ist der Cache am Ende und du arbeitest mit der wirklichen Performance.
Dazu kommt der Overhead von SMB und dann sind 50MB/s ein guter Wert.
Ich komme mit 2 Xeon-Quard-Core-Servern mit 8GB RAM, LSI Hardware-RAID und Intel PRO/Broadcom NetXtreme auch nicht unbedingt über 75MB/s für große Dateien (bzw. Bursts bis 90MB/s)...
Die ersten paar MB bekommst du aus dem Cache vom System und Cache vom Controller (sowie ein bisschen Read-Ahead), dann ist der Cache am Ende und du arbeitest mit der wirklichen Performance.
Dazu kommt der Overhead von SMB und dann sind 50MB/s ein guter Wert.
Ich komme mit 2 Xeon-Quard-Core-Servern mit 8GB RAM, LSI Hardware-RAID und Intel PRO/Broadcom NetXtreme auch nicht unbedingt über 75MB/s für große Dateien (bzw. Bursts bis 90MB/s)...
Guten Morgen,
@aqui
Das Orakel sagt ich nutze den Windowsexplorer. Werde es mit einem anderen Client probieren.
@dog
Okay Argumentation kann ich nachvollziehen. Was ich nicht verstehe, ist das das NAS von meinem Cousin, welches auch RAID5 macht, durchweg die 80 schafft.
Werde mich nachher mal direkt auf den Switch hängen bzw. ein Crossoverkabel nutzen um den Switch auszuschließen.
@aqui
Das Orakel sagt ich nutze den Windowsexplorer. Werde es mit einem anderen Client probieren.
@dog
Okay Argumentation kann ich nachvollziehen. Was ich nicht verstehe, ist das das NAS von meinem Cousin, welches auch RAID5 macht, durchweg die 80 schafft.
Werde mich nachher mal direkt auf den Switch hängen bzw. ein Crossoverkabel nutzen um den Switch auszuschließen.