11
ESX und Trunking! Nie über 40 MBs bei Gbit-Lan..
Hi,
also ich habe folgendes Problem:
ich habe zwei ESX-Hosts an einem ProCurve hängen. Nun habe ich auf jedem Host jeweils 2 Netzwerkkarten geteamed. Bei den Karten handelt es sich um Intel Gbit Serveradapter! Dann habe ich auf dem Switch 2 Trunks eingerichtet bestehend aus 2 Ports pro Trunk. Dann im ESX den VSwitch auf Lastenausgleich: "Route on IP-Hash" gestellt und auf den Trunks LACP eingerichtet.
Nachdem ich nun von einem virtuellen Server auf HOST A auf einen anderen virtuellen Server auf Host B ein ISO kopiert habe, musste ich feststellen, dass beim Kopiervorgang nur 1 Port pro Trunk belegt wird! (Quelle: HP Switch Status im Webinterface)
Ich bekomme nie über 40 MB/s über die geteamten Karten!
Hat vielleicht jemand nen Lösungansatz oder ne Idee?
Zur Hardware:
Host A und Host B = HP ProLiant ML370 G5
Switch = ProCurve 2848 (neuste FW I.10.77)
ESX = ESX 4 Update 1 / neuste Build
Bin dankbar für jede Idee!
LG
Alex
also ich habe folgendes Problem:
ich habe zwei ESX-Hosts an einem ProCurve hängen. Nun habe ich auf jedem Host jeweils 2 Netzwerkkarten geteamed. Bei den Karten handelt es sich um Intel Gbit Serveradapter! Dann habe ich auf dem Switch 2 Trunks eingerichtet bestehend aus 2 Ports pro Trunk. Dann im ESX den VSwitch auf Lastenausgleich: "Route on IP-Hash" gestellt und auf den Trunks LACP eingerichtet.
Nachdem ich nun von einem virtuellen Server auf HOST A auf einen anderen virtuellen Server auf Host B ein ISO kopiert habe, musste ich feststellen, dass beim Kopiervorgang nur 1 Port pro Trunk belegt wird! (Quelle: HP Switch Status im Webinterface)
Ich bekomme nie über 40 MB/s über die geteamten Karten!
Hat vielleicht jemand nen Lösungansatz oder ne Idee?
Zur Hardware:
Host A und Host B = HP ProLiant ML370 G5
Switch = ProCurve 2848 (neuste FW I.10.77)
ESX = ESX 4 Update 1 / neuste Build
Bin dankbar für jede Idee!
LG
Alex
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 144414
Url: https://administrator.de/contentid/144414
Printed on: April 23, 2024 at 22:04 o'clock
11 Comments
Latest comment
Hi
das Phänomen kenne ich bei unseren Broadcom NICs (G5), aber die Zusatzkarten (Intel Pro) bei uns machen das eigentlich ganz OK und bei uns war es wesentlich schlimmer; einer brachte seine 50MB/s beide dann unter 10MB/s, aber immerhin haben beide Daten ausgetauscht.
Deinen Grund den ESX Switch das nicht machen zu lassen, will ich jetzt nicht in Frage stellen (bietet ja auch Failover und Loadbalance ohne was einstellen zu müssen).
Was erreichst du nur mit einer? Bei uns war mit Gigabit trotz RAMdisk (REO) auf der anderen Seite nicht mehr als 50MB/s mit single Gigabit; ohne VM waren da locker 90MB/s erreichbar (Nortel Pathport), aber die VM verschluckt halt auch viel. Welchen NIC hast du in der VM eingestellt?
Gruß
Sam
das Phänomen kenne ich bei unseren Broadcom NICs (G5), aber die Zusatzkarten (Intel Pro) bei uns machen das eigentlich ganz OK und bei uns war es wesentlich schlimmer; einer brachte seine 50MB/s beide dann unter 10MB/s, aber immerhin haben beide Daten ausgetauscht.
Deinen Grund den ESX Switch das nicht machen zu lassen, will ich jetzt nicht in Frage stellen (bietet ja auch Failover und Loadbalance ohne was einstellen zu müssen).
Was erreichst du nur mit einer? Bei uns war mit Gigabit trotz RAMdisk (REO) auf der anderen Seite nicht mehr als 50MB/s mit single Gigabit; ohne VM waren da locker 90MB/s erreichbar (Nortel Pathport), aber die VM verschluckt halt auch viel. Welchen NIC hast du in der VM eingestellt?
Gruß
Sam
versuch doch mal mit noch einer anderen ip was zu kopieren oder zu ziehen... von einer ip bekommste nie mehr als das einzelne interface hergibt. (nächste verbindung kommt dann über das 2. interface)
Hi,
also auf dem vSwitch habe ich ja alles eingestellt was einzustellen ist: Loadbalanced mit IP-Hash. Dann habe ich den vSwitch mal mit und mal ohne Kernel-Port laufen lassen. Immer das gleiche..kein Speed. Wenn ich von 2 verschiedenen Quellen aus ziehe, geht trotzdem alles über einen Port! Sprich bei einem Kopiervorgang sinkt die Ü-Rate wenn ein zweiter hinzukommt. Ich habe auch mal die vmkernel-Logs durchforstet und auch die Logs auf dem ProCurve... da scheint alles OK zu sein. In den VMs sind die Standard-Treiber (Intel MT). Habe nun auch mal versucht Trunks ohne LACP zu nutzen... gleiches Phänomen.
Edit: Host A nutzt zum balancen auch Broadcom Onboardkarten. Sind "Broadcom NetXtreme II BCM5708" in Host B ist ein Intel 82546EB Gigabit Ethernet Controller.
also auf dem vSwitch habe ich ja alles eingestellt was einzustellen ist: Loadbalanced mit IP-Hash. Dann habe ich den vSwitch mal mit und mal ohne Kernel-Port laufen lassen. Immer das gleiche..kein Speed. Wenn ich von 2 verschiedenen Quellen aus ziehe, geht trotzdem alles über einen Port! Sprich bei einem Kopiervorgang sinkt die Ü-Rate wenn ein zweiter hinzukommt. Ich habe auch mal die vmkernel-Logs durchforstet und auch die Logs auf dem ProCurve... da scheint alles OK zu sein. In den VMs sind die Standard-Treiber (Intel MT). Habe nun auch mal versucht Trunks ohne LACP zu nutzen... gleiches Phänomen.
Edit: Host A nutzt zum balancen auch Broadcom Onboardkarten. Sind "Broadcom NetXtreme II BCM5708" in Host B ist ein Intel 82546EB Gigabit Ethernet Controller.
leider nicht... die Ü-Rate sinkt beim start eines zweiten Kopiervorgangs.
hier das ganze mal visuell:
http://www3.pic-upload.de/09.06.10/w2dehst4ifo.jpg
hier das ganze mal visuell:
http://www3.pic-upload.de/09.06.10/w2dehst4ifo.jpg
Hi
die Broadcom haben nur ein Problem mit den ESX int Treibern (Paketverluste); das hat mit einer anderen Maschine keinen Einfluß. Die beiden Intel MTs (VM) hast du normal mit dem Intel Pro Set geteamed oder?
Gruß
Sam
die Broadcom haben nur ein Problem mit den ESX int Treibern (Paketverluste); das hat mit einer anderen Maschine keinen Einfluß. Die beiden Intel MTs (VM) hast du normal mit dem Intel Pro Set geteamed oder?
Gruß
Sam
Ein neuer Versuch OHNE LACP und OHNE KernelPorts brachte erste Erfolge:
Switch-Status (Bild1):
http://www3.pic-upload.de/09.06.10/hpfm4ffvv8k2.jpg
Switch-Config (Bild 2):
http://www3.pic-upload.de/09.06.10/1bf3a47bydfd.jpg
Aber auch nur wenn ich von 2 verschiedenen Quellen (Servern) kopiert habe! Gibt es keine Möglichkeit auch die Bandbreite einzelner VMs zuerhöhen? Eigentlich möchte ich die Trunks nach erfolgreichem Einrichten für iSCSI verwenden. Und iSCSI hat ja an jedem Ende der Leitung lediglich 1 IP.
Mir ist gerade noch aufgefallen, dass ich im Setup der Trunks den Speed garnicht auf 1000Mbit/s Vollduplex stellen kann, sondern nur 10HDx, 100HDx, 10 FDx, 100FDx, Auto-10, Auto-100, Auto 1000 und Auto. Kann es sein das der Procurve 2848 garkeine 1000er Trunks unterstützt ??? Würde auch die geringe Auslastung (Bild 1) auf den Ports beim Kopiervorgang erklären.
Hier noch meine Switch-Config:
Startup configuration:
; J4904A Configuration Editor; Created on release #I.10.77
hostname "ProCurve Switch 2848"
interface 1
no lacp
exit
interface 2
no lacp
exit
interface 3
no lacp
exit
interface 4
no lacp
exit
interface 5
no lacp
exit
interface 6
no lacp
exit
trunk 1-2 Trk1 Trunk
trunk 3-4 Trk2 Trunk
trunk 5-6 Trk3 Trunk
ip default-gateway 192.168.100.8
snmp-server community "public" Unrestricted
vlan 1
name "DEFAULT_VLAN"
untagged 7-48,Trk1-Trk3
ip address 192.168.100.14 255.255.255.0
exit
spanning-tree
spanning-tree Trk1 priority 4
spanning-tree Trk2 priority 4
spanning-tree Trk3 priority 4
Switch-Status (Bild1):
http://www3.pic-upload.de/09.06.10/hpfm4ffvv8k2.jpg
Switch-Config (Bild 2):
http://www3.pic-upload.de/09.06.10/1bf3a47bydfd.jpg
Aber auch nur wenn ich von 2 verschiedenen Quellen (Servern) kopiert habe! Gibt es keine Möglichkeit auch die Bandbreite einzelner VMs zuerhöhen? Eigentlich möchte ich die Trunks nach erfolgreichem Einrichten für iSCSI verwenden. Und iSCSI hat ja an jedem Ende der Leitung lediglich 1 IP.
Mir ist gerade noch aufgefallen, dass ich im Setup der Trunks den Speed garnicht auf 1000Mbit/s Vollduplex stellen kann, sondern nur 10HDx, 100HDx, 10 FDx, 100FDx, Auto-10, Auto-100, Auto 1000 und Auto. Kann es sein das der Procurve 2848 garkeine 1000er Trunks unterstützt ??? Würde auch die geringe Auslastung (Bild 1) auf den Ports beim Kopiervorgang erklären.
Hier noch meine Switch-Config:
Startup configuration:
; J4904A Configuration Editor; Created on release #I.10.77
hostname "ProCurve Switch 2848"
interface 1
no lacp
exit
interface 2
no lacp
exit
interface 3
no lacp
exit
interface 4
no lacp
exit
interface 5
no lacp
exit
interface 6
no lacp
exit
trunk 1-2 Trk1 Trunk
trunk 3-4 Trk2 Trunk
trunk 5-6 Trk3 Trunk
ip default-gateway 192.168.100.8
snmp-server community "public" Unrestricted
vlan 1
name "DEFAULT_VLAN"
untagged 7-48,Trk1-Trk3
ip address 192.168.100.14 255.255.255.0
exit
spanning-tree
spanning-tree Trk1 priority 4
spanning-tree Trk2 priority 4
spanning-tree Trk3 priority 4
Intel Pro-Set ist doch die Windows Software von Intel .... wie soll ich die denn auf dem ESX-Host installieren? :P Teaming is natürlich powered by ESX.
Ach so
dann ist's ja klar. Das "Teaming" stellt ESX einfach nur allen internen Switch zur Verfügung (ist ja eine normale Loadbalance Funktion auf allen Ports). Der VM hilft das nichts, sondern nur alle haben eben mehr Bandbreite. Es ist aber auch möglich diese in die VM mittels dem ProSet, was ich aber eher abrate. Wenn man mehr als die 50MB/s braucht würde sich GBX anbieten.
Gruß
Sam
dann ist's ja klar. Das "Teaming" stellt ESX einfach nur allen internen Switch zur Verfügung (ist ja eine normale Loadbalance Funktion auf allen Ports). Der VM hilft das nichts, sondern nur alle haben eben mehr Bandbreite. Es ist aber auch möglich diese in die VM mittels dem ProSet, was ich aber eher abrate. Wenn man mehr als die 50MB/s braucht würde sich GBX anbieten.
Gruß
Sam
GBit ist nur als FDX zugelassen Keine Ahnung ob HP das unterstütztz (denke schon) da wir nur Enterasys und Nortel einsetzen
Gruß
Sam
Gruß
Sam
Also es ist 1000 Mbits FDx steht zumin. so auf der Weboberfläche vom Switch. Dann scheint das teaming ja zu funktionieren! Aber dann frag ich mich wieso man iSCSI teamen sollte wenn jede Quelle immer nur einen Port nutzen kann? Oder sieht das ganze beim teamen eines KernelPorts für iSCSI dann wieder anders aus ?
Hi
bei HD's bieten sich redundante Pfade wegen Ausfallssicherheit an. Da iSCSI Etherframes benutzt sind die sowieso nicht an IP oder PortTrunking und Co interessiert. Wenn du in einer VM sowieso keine Redundanz fährst (wofür auch) bist du sowieso an die max 110MB/s gebunden. Da bieten sich aber normal eher Offload NICs an um iSCSI zu beschleunigen (das geht aber nicht in einer VM durch den generischen NIC); im ESX geht das hervorragend, auch wenn wir mehr und mehr auf SAN/DAS setzen.
Gruß
Sam
bei HD's bieten sich redundante Pfade wegen Ausfallssicherheit an. Da iSCSI Etherframes benutzt sind die sowieso nicht an IP oder PortTrunking und Co interessiert. Wenn du in einer VM sowieso keine Redundanz fährst (wofür auch) bist du sowieso an die max 110MB/s gebunden. Da bieten sich aber normal eher Offload NICs an um iSCSI zu beschleunigen (das geht aber nicht in einer VM durch den generischen NIC); im ESX geht das hervorragend, auch wenn wir mehr und mehr auf SAN/DAS setzen.
Gruß
Sam
