6
ESXi langsam im Netzwerk
Hallo sehr verehrte Wissende
Ich kämpfe nun schon seit längerem bei einem Kunden mit einem Performance Problem. Wie Ihr Euch denken könnt, habe ich die Lösung bis jetzt nicht gefunden und wende mich nun an Euch. Ob es jetzt ein Problem mit ESXi oder dem Netzwerk ist, konnte ich nicht definieren. Ev. muss die Frage den Bereich wechseln.
Vielen Dank schon jetzt für Eure Zeit, Euer Wissen und Eure Tips.
Hardware:
- 2 x Dell PowerEdge 2950, 18 GB RAM, local Store mit RAID 1 15K SAS Platten 60GB, 1 x Broadcom NetXtreme II BCM5708 1000Base-T (nic 0 und nic1), 1 x Intel 82571EB Gigabit Ethernet Controller (nic2 und nic3)
- Eurostor ES-8708ISF mit 4 TB mit RAID6, 4 nics
- diverse Linksys SRW2024 Gigabitswitches
- Fortigate FG 60B Firewall/router
Konfiguration:
- Die beiden VMWare Server greifen mittels iSCSI je über ein eigenes gekreuztes Netzwerkkabel auf eine dezidierte Schnittstelle des Storage zu. Die LUNs sind auf beiden Servern ersichtlich. Je ein Target pro Server defniert. Das ganze auf den Intel NICs (nic2).
- Die ESXi Server werden gemanagt über nic0 und sind über nic1 mit dem produktiven Netzwerk verbunden. Die Hosts benutzen also nic1.
- Die Netzwerkkarten sind alle auf automatisch konfiguriert und behaupten sie laufen mit 1000 Voll.
- Das Mangement- und das Produktive Netz treffen sich im Router wieder.
Schema:
Software:
Auf jedem Dell ein VMWare ESXi 4.1 welche auf den lokalen Storage läuft
Auf dem Storage Open-E iSCSI-R3 Version 5
Auf System 1
- ein SBS 2008, 12 GB Ram, System und diverse kleine Platten alle auf dem iSCSI
- ein XP System mit 1 GB RAM zur Verwaltung des Virenscanners, alles auf dem iSCSI
Auf System 2
- ein Win 2k8 x64 Server
- ein Win 2K8 x32 Server
- ein Win 2K3 x32 Server
mit jeweils entsprechend RAM und HD Platz, jeweils alles auf dem iSCSI. Total RAM ist nicht grösser als physisch verfügbar (inkl. Overhad der VMWare)
überall die aktuellen VMWare Tools installiert
Problem:
- Ursprüngliche Fehlermeldung des Kunden: Langsames Netzwerk. Ob es seit Beginn mit dem System so war (1 1/2 Jahre) oder erst nach und nach langsamer wurde lässt sich schwer sagen.
- Messungen der Geschwindigkeit ergab rund 1 MB schreiben und 6 MB lesen. Sowohl von XP wie auch von Win7 Cliensts. Das ist langsam, OK.
- Messung der Schreibgeschwindigkeit auf dem Host ergab maximale Werte von 60 MBytes/s schreiben und 66MBytes/s lesen. Deaktiviere ich beim schreiben den Systemcache sinkt der Wert auf 2.5 MB schreiben und 38 MB lesen , aber dafür gibt es ja den Systemcache...oder? Auf die Netzwerkfreigaben gschrieben (wieder mit aktiviertem Cache) sind 26 MB Schreiben und 43 MB lesen. Dies auf allen virtuellen Systemen.
UND JETZT KOMMT'S:
- Messe ich vom WinXP Host auf den SBS 2008 (welcher ja auf der selben VMWare liegt) dann sind die Werte knapp bei 1 MB schreiben und 4 MB lesen, also wie übers Netz. Also ein VMWare Konfig Problem?
- Etwas unschön zu dieser These ist dann die Messung eines Win XP Arbeitsplatzes auf den Sicherungsserver (gleiches Netz, Maschinen nicht oben beschrieben) welcher wiederum Werte von rund 2MB schreiben und 6 MB lesen ergibt. Also doch ein Netzwerkproblem?
Was schon probiert:
Schon sehr vieles, unglücklicherweise nicht dokumentiert so dass ich hier nur die Ansätze zeigen kann.
- Prüfen der Logs des Hauptswitches auf Kollisionen, bis auf einen Port an welchem direkt eine Workstation hängt alle Null.
- Ändern der Flusskontrolle aller Ports auf dem Hauptswitch zu 'Enabled' dann zu automatisch.
- Mit den Netzwerkkartensettings des SBS Servers an der Flusskontrolle gespielt... Ich denke das ist der richtige Ausdruck für hilfloses klicken...
- Auf der VMWare die Flusskontrolle von nic1 auf automatisch gesetzt.
- Die VMWare von ESXi 3.5 auf 4.0 und dann auf 4.1 upgedatet (Mit dem Erfolg dass die iSCSI sich jetzt in unregelmässigen Abständen abmelden aber das ist ein anderes Thema...)
Ich bin für alle Vorschläge offen
Vielen Dank und Grüsse aus Züüri
Daniel
- 2 x Dell PowerEdge 2950, 18 GB RAM, local Store mit RAID 1 15K SAS Platten 60GB, 1 x Broadcom NetXtreme II BCM5708 1000Base-T (nic 0 und nic1), 1 x Intel 82571EB Gigabit Ethernet Controller (nic2 und nic3)
- Eurostor ES-8708ISF mit 4 TB mit RAID6, 4 nics
- diverse Linksys SRW2024 Gigabitswitches
- Fortigate FG 60B Firewall/router
Konfiguration:
- Die beiden VMWare Server greifen mittels iSCSI je über ein eigenes gekreuztes Netzwerkkabel auf eine dezidierte Schnittstelle des Storage zu. Die LUNs sind auf beiden Servern ersichtlich. Je ein Target pro Server defniert. Das ganze auf den Intel NICs (nic2).
- Die ESXi Server werden gemanagt über nic0 und sind über nic1 mit dem produktiven Netzwerk verbunden. Die Hosts benutzen also nic1.
- Die Netzwerkkarten sind alle auf automatisch konfiguriert und behaupten sie laufen mit 1000 Voll.
- Das Mangement- und das Produktive Netz treffen sich im Router wieder.
Schema:
Software:
Auf jedem Dell ein VMWare ESXi 4.1 welche auf den lokalen Storage läuft
Auf dem Storage Open-E iSCSI-R3 Version 5
Auf System 1
- ein SBS 2008, 12 GB Ram, System und diverse kleine Platten alle auf dem iSCSI
- ein XP System mit 1 GB RAM zur Verwaltung des Virenscanners, alles auf dem iSCSI
Auf System 2
- ein Win 2k8 x64 Server
- ein Win 2K8 x32 Server
- ein Win 2K3 x32 Server
mit jeweils entsprechend RAM und HD Platz, jeweils alles auf dem iSCSI. Total RAM ist nicht grösser als physisch verfügbar (inkl. Overhad der VMWare)
überall die aktuellen VMWare Tools installiert
Problem:
- Ursprüngliche Fehlermeldung des Kunden: Langsames Netzwerk. Ob es seit Beginn mit dem System so war (1 1/2 Jahre) oder erst nach und nach langsamer wurde lässt sich schwer sagen.
- Messungen der Geschwindigkeit ergab rund 1 MB schreiben und 6 MB lesen. Sowohl von XP wie auch von Win7 Cliensts. Das ist langsam, OK.
- Messung der Schreibgeschwindigkeit auf dem Host ergab maximale Werte von 60 MBytes/s schreiben und 66MBytes/s lesen. Deaktiviere ich beim schreiben den Systemcache sinkt der Wert auf 2.5 MB schreiben und 38 MB lesen , aber dafür gibt es ja den Systemcache...oder? Auf die Netzwerkfreigaben gschrieben (wieder mit aktiviertem Cache) sind 26 MB Schreiben und 43 MB lesen. Dies auf allen virtuellen Systemen.
UND JETZT KOMMT'S:
- Messe ich vom WinXP Host auf den SBS 2008 (welcher ja auf der selben VMWare liegt) dann sind die Werte knapp bei 1 MB schreiben und 4 MB lesen, also wie übers Netz. Also ein VMWare Konfig Problem?
- Etwas unschön zu dieser These ist dann die Messung eines Win XP Arbeitsplatzes auf den Sicherungsserver (gleiches Netz, Maschinen nicht oben beschrieben) welcher wiederum Werte von rund 2MB schreiben und 6 MB lesen ergibt. Also doch ein Netzwerkproblem?
Was schon probiert:
Schon sehr vieles, unglücklicherweise nicht dokumentiert so dass ich hier nur die Ansätze zeigen kann.
- Prüfen der Logs des Hauptswitches auf Kollisionen, bis auf einen Port an welchem direkt eine Workstation hängt alle Null.
- Ändern der Flusskontrolle aller Ports auf dem Hauptswitch zu 'Enabled' dann zu automatisch.
- Mit den Netzwerkkartensettings des SBS Servers an der Flusskontrolle gespielt... Ich denke das ist der richtige Ausdruck für hilfloses klicken...
- Auf der VMWare die Flusskontrolle von nic1 auf automatisch gesetzt.
- Die VMWare von ESXi 3.5 auf 4.0 und dann auf 4.1 upgedatet (Mit dem Erfolg dass die iSCSI sich jetzt in unregelmässigen Abständen abmelden aber das ist ein anderes Thema...)
Ich bin für alle Vorschläge offen
Vielen Dank und Grüsse aus Züüri
Daniel
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 153384
Url: https://administrator.de/contentid/153384
Printed on: April 24, 2024 at 10:04 o'clock
6 Comments
Latest comment
moin,
ich machs mal kurz...
Das, was ich "probieren" würde, wäre den ESX vom Netz abklemmen und dann diese JETZT KOMMT'S: Messung durchziehen.
Ist das identisch - liegts wohl am ISCI oder ein Konfig Problem. Ist es schneller - liegts am restlichen Netz.
Gruß
ich machs mal kurz...
UND JETZT KOMMT'S:
Hier verstehe ich deinen Ansatz nicht, das also wie übers Netz. Also ein VMWare Konfig Problem?ist und muß so sein wie übers Netz.Das, was ich "probieren" würde, wäre den ESX vom Netz abklemmen und dann diese JETZT KOMMT'S: Messung durchziehen.
Ist das identisch - liegts wohl am ISCI oder ein Konfig Problem. Ist es schneller - liegts am restlichen Netz.
Gruß
Guten Morgen Timo
Danke für Deinen Input. Nur kurz um zu sehen ob ich Dich richtig verstanden habe:
- Wenn ich zwei virtuelle Clients auf demselben Blech habe und diese miteinander kommunizieren, geht das Signal über das selbe Kabel in den Switch und wieder zurück? Der ESXI schnallt nicht, dass ein kürzerer Weg vorhanden wäre?
- Ich soll mal die Messung von virtuellem Client zu virtuellem Client auf demselben Host ausführen und dabei das Kabel zum Switch entfernen? Oder diese Kabel eingesteckt lassen und alle anderen Ports am Switch ausziehen?
Danke und Grüsse
Daniel
Danke für Deinen Input. Nur kurz um zu sehen ob ich Dich richtig verstanden habe:
- Wenn ich zwei virtuelle Clients auf demselben Blech habe und diese miteinander kommunizieren, geht das Signal über das selbe Kabel in den Switch und wieder zurück? Der ESXI schnallt nicht, dass ein kürzerer Weg vorhanden wäre?
- Ich soll mal die Messung von virtuellem Client zu virtuellem Client auf demselben Host ausführen und dabei das Kabel zum Switch entfernen? Oder diese Kabel eingesteckt lassen und alle anderen Ports am Switch ausziehen?
Danke und Grüsse
Daniel
Moin,
Die Clients unterhalten sich "intern" aber auf dem Flur - quatcht da einer permanent dazwischen, bekommen die das mit.
Viel Glück
Zitat von @wusch73:
Guten Morgen Timo
Danke für Deinen Input. Nur kurz um zu sehen ob ich Dich richtig verstanden habe:
Guten Morgen Timo
Danke für Deinen Input. Nur kurz um zu sehen ob ich Dich richtig verstanden habe:
Die Clients unterhalten sich "intern" aber auf dem Flur - quatcht da einer permanent dazwischen, bekommen die das mit.
- Ich soll mal die Messung von virtuellem Client zu virtuellem Client auf demselben Host ausführen und dabei das Kabel zum
Switch entfernen? Oder diese Kabel eingesteckt lassen und alle anderen Ports am Switch ausziehen?
Beides - oder andersherum die Kette zuersts ganz kurz halten -Switch entfernen? Oder diese Kabel eingesteckt lassen und alle anderen Ports am Switch ausziehen?
- 1) Problem immer noch da - weißt du bis wohin wo du suchen mußt
- 2) Problem weg, Kette so lange verlängern, bis das Problem wieder da ist - dann zu 1)
Danke und Grüsse
Viel Glück
moinmoin
Da sitz ich nun ich armer Tor und bin so klug als wie zuvor....
- Blech vom Switch abgehängt, Speed vom virtuellen WinXP Client zum virtuellen SBS2008 Client 1 MB/s schreiben und 4 MB/s lesen. (Test auf 'lokales' Laufwerk, welches die gleiche iSCSI Einheit ist: 16 MB/s schreiben und 47 MB/s lesen)
- Blech am Switch angehängt, alle anderen Ports ausgezogen, Speed 1.5 MB/s schreiben und 6 MB/s lesen
- Am Switch nur zwei andere Workstations angehängt (beide zeigen 1000 MB und Flow Control an...) Speedtest zwischen den beiden Kisten 3 MB/s schreiben und 5 MB/s lesen...
Ich blick nicht mehr durch...
Ich habe also sowohl ein VMWare Konfig, als auch ein Netzwerkproblem?
Wie kann ich zumindest die beiden virtuellen Clowns auf den Flur zitieren damit die sich da ganz rasch unterhalten. Und es ist auch sicher niemand da der dazwischen ruft?
Verstehe ich Gigabit Switch falsch?
Well well, ich freu mich wenn ich die Lösung finden kann und bin dankbar für weitre Tips...
Grüsse (morgen solls hier schneien... ts...)
Daniel
Da sitz ich nun ich armer Tor und bin so klug als wie zuvor....
- Blech vom Switch abgehängt, Speed vom virtuellen WinXP Client zum virtuellen SBS2008 Client 1 MB/s schreiben und 4 MB/s lesen. (Test auf 'lokales' Laufwerk, welches die gleiche iSCSI Einheit ist: 16 MB/s schreiben und 47 MB/s lesen)
- Blech am Switch angehängt, alle anderen Ports ausgezogen, Speed 1.5 MB/s schreiben und 6 MB/s lesen
- Am Switch nur zwei andere Workstations angehängt (beide zeigen 1000 MB und Flow Control an...) Speedtest zwischen den beiden Kisten 3 MB/s schreiben und 5 MB/s lesen...
Ich blick nicht mehr durch...
Ich habe also sowohl ein VMWare Konfig, als auch ein Netzwerkproblem?
Wie kann ich zumindest die beiden virtuellen Clowns auf den Flur zitieren damit die sich da ganz rasch unterhalten. Und es ist auch sicher niemand da der dazwischen ruft?
Verstehe ich Gigabit Switch falsch?
Well well, ich freu mich wenn ich die Lösung finden kann und bin dankbar für weitre Tips...
Grüsse (morgen solls hier schneien... ts...)
Daniel
Hallo Miteinander
Ist wirklich niemand mehr hier mit einer schlauen Idee? Ich bin immer noch sehr offen für weitere Inputs.
Grüsse
Daniel
Ist wirklich niemand mehr hier mit einer schlauen Idee? Ich bin immer noch sehr offen für weitere Inputs.
Grüsse
Daniel
Hallo, ich habe das gleiche Problem, mit so ziemlich der gleichen Netzwerkkonfiguration (Broadcom Nic+Intel Dualport 82571EB) im ESXi 4.01 . Mir ist aufgefallen, dass der Intel 82571EB NIC (fälschlicherweise) als e1000e erkannt und installiert wird. Da gab es bereits eine Fehlerbeschreibung seitens VMWARE:
http://www.vmw.com.es/de/support/vsphere4/doc/vsp_esxi40_u2_rel_notes.h ...
"Bei einem Upgrade von ESX 3.5-Hosts auf ESX 4.0 laden einige der Netzwerkgeräte den Treiber e1000e anstelle des Treibers e1000 *"
Es war in meinem Fall zwar eine Neuinstallation, aber egal, Fehler ist bekannt.
Was das für Auswirkungen dieser Fehler haben soll, wurde aber nicht beschrieben. Evtl. sehen wir diese Auswirkung ja gerade,
Deshalb einmal die Bitte an dich, den Adapter zu entfernen und dann nochmal die Performance zu testen!!! Und bitte einmal schreiben ob es etwas gebracht hat!!! Ansonsten bin ich mit meiner Weisheit auch am Ende. Ich kann das nicht testen, da der Host ein paar hundert Kilometer weiter steht.
Bei mir ergibt sich nämlich auch folgendes Dilemma:
(Zugriff meint im Folgenden einen Netzwerkperformancetest per PCATTCP Tool, das nur per TCPIP Pakete, aber keine Daten zum Schreiben schickt, also dass der Storage als Fehlerquelle komplett ausgeschlossen werden kann. Aber es ergeben sich auch ähnliche Daten wenn man eine große Datei von/nach draußen über GBit Verbindung schiebt)
Server SBS 2003 Dateikopieren Storage nach draußen über egal welchen Adapter: ca. 25 MB/Sek = schlecht
Server 2008 Zugriff von außen, über egal welchen Adapter: ca. 20-25 MB/Sek = schlecht
Zugriff innerhalb des gleiches VSwitches und trotz 10 GBit Adapter von SV2008<->SV2003: leider nur 55 MB/Sek
Festplattenperformancetest innerhalb der VM ergibt 90 MB/Sek schreiben und lesen also etwa gleich und normal für die Platten die verbaut sind.
Schreibleistung über Netzlaufwerk von VM 2003 auf VM 2008 ohne Außenverbindung LAN: 5 MB/Sek !!! mehrmals getestet = grausam
Schreibleistung über Netzlaufwerk von VM 2008 auf VM 2003 ohne Außenverbindung LAN: ca. 25 MB/Sek
Schreibleistung über Netzlaufwerk von VM WinXP auf VM 2003 ohne Außenverbindung LAN: ca. 25 MB/Sek =
System ist nagelneuer Dell Server, vorkonfiguriert mit CoreiXeon mit 0,0 Systemauslastung und 8 GB RAM, 4 GB je Server, um dort einen Mangel auch auszuschließen.
Ein anderer ähnlich konfigurierter ESXi-Server ohne die o.g. Intel NIC läuft mit GBitMax 115 MB/Sek Zugriff bei mir, ich bin also nicht gänzlich blöd. Es fällt aber auf, dass die max. Geschwindigkeit innerhalb des VSwitches ziemlich genau die Hälfte der effektiven Max.leistung von 1 GB/Sek beträgt. Also meine Vermutung ist, dass die falsch konfigurierte Karte irgendwie genau die Hälfte der Max.Leistung (Max.Performance innerhalb VSwitch 55 MB/Sek, Datenzugriff aber nur 25 MB/Sek) verschluckt. Dann ergibt sich nochmal die Hälfte der Leistung, also gesamt ca .ein Viertel (25 MB/Sek / 110 MB/Sek) wenn man über den VSwitch nach draußen geht. Wie ist mir allerdings ein Rätsel.
Vielleicht kann mir jemand auch einfach nur einen Tipp geben, wie ich den Treiber e1000 statt e1000e erzwingen kann.
http://www.vmw.com.es/de/support/vsphere4/doc/vsp_esxi40_u2_rel_notes.h ...
"Bei einem Upgrade von ESX 3.5-Hosts auf ESX 4.0 laden einige der Netzwerkgeräte den Treiber e1000e anstelle des Treibers e1000 *"
Es war in meinem Fall zwar eine Neuinstallation, aber egal, Fehler ist bekannt.
Was das für Auswirkungen dieser Fehler haben soll, wurde aber nicht beschrieben. Evtl. sehen wir diese Auswirkung ja gerade,
Deshalb einmal die Bitte an dich, den Adapter zu entfernen und dann nochmal die Performance zu testen!!! Und bitte einmal schreiben ob es etwas gebracht hat!!! Ansonsten bin ich mit meiner Weisheit auch am Ende. Ich kann das nicht testen, da der Host ein paar hundert Kilometer weiter steht.
Bei mir ergibt sich nämlich auch folgendes Dilemma:
(Zugriff meint im Folgenden einen Netzwerkperformancetest per PCATTCP Tool, das nur per TCPIP Pakete, aber keine Daten zum Schreiben schickt, also dass der Storage als Fehlerquelle komplett ausgeschlossen werden kann. Aber es ergeben sich auch ähnliche Daten wenn man eine große Datei von/nach draußen über GBit Verbindung schiebt)
Server SBS 2003 Dateikopieren Storage nach draußen über egal welchen Adapter: ca. 25 MB/Sek = schlecht
Server 2008 Zugriff von außen, über egal welchen Adapter: ca. 20-25 MB/Sek = schlecht
Zugriff innerhalb des gleiches VSwitches und trotz 10 GBit Adapter von SV2008<->SV2003: leider nur 55 MB/Sek
Festplattenperformancetest innerhalb der VM ergibt 90 MB/Sek schreiben und lesen also etwa gleich und normal für die Platten die verbaut sind.
Schreibleistung über Netzlaufwerk von VM 2003 auf VM 2008 ohne Außenverbindung LAN: 5 MB/Sek !!! mehrmals getestet = grausam
Schreibleistung über Netzlaufwerk von VM 2008 auf VM 2003 ohne Außenverbindung LAN: ca. 25 MB/Sek
Schreibleistung über Netzlaufwerk von VM WinXP auf VM 2003 ohne Außenverbindung LAN: ca. 25 MB/Sek =
System ist nagelneuer Dell Server, vorkonfiguriert mit CoreiXeon mit 0,0 Systemauslastung und 8 GB RAM, 4 GB je Server, um dort einen Mangel auch auszuschließen.
Ein anderer ähnlich konfigurierter ESXi-Server ohne die o.g. Intel NIC läuft mit GBitMax 115 MB/Sek Zugriff bei mir, ich bin also nicht gänzlich blöd. Es fällt aber auf, dass die max. Geschwindigkeit innerhalb des VSwitches ziemlich genau die Hälfte der effektiven Max.leistung von 1 GB/Sek beträgt. Also meine Vermutung ist, dass die falsch konfigurierte Karte irgendwie genau die Hälfte der Max.Leistung (Max.Performance innerhalb VSwitch 55 MB/Sek, Datenzugriff aber nur 25 MB/Sek) verschluckt. Dann ergibt sich nochmal die Hälfte der Leistung, also gesamt ca .ein Viertel (25 MB/Sek / 110 MB/Sek) wenn man über den VSwitch nach draußen geht. Wie ist mir allerdings ein Rätsel.
Vielleicht kann mir jemand auch einfach nur einen Tipp geben, wie ich den Treiber e1000 statt e1000e erzwingen kann.
