11
ISCSI Storage sehr langsam - Hyper-V Cluster
Hallo Leute,
wir haben ein Hyper-V Cluster mit 2 Storages von HP, die an 2 HP Switchen hängen und die wieder an 2 Servern.(Siehe auf dem Bild)
Auf dem iSCSI Cluster liegen dann die Hyper-V Maschinen.
Innerhalb dieser Maschinen habe ich eine Schreibgeschwindigkeit von ca. 100MB/s
Wir haben 4 Hyper-V Netzwerke, CSV, iSCSI, LiveMigration, Management
Die Storages haben jeweils 4 1GB Netzwerkkarten, die Server haben 4 1Gb Netzwerkkarten.
Sobald ich auf dem Cluster den Umgeleiteten Zugriff Aktiviere, habe ich teilweise 1000MB/s aber eben nur auf den Servern an EINER Storage.
Nun weiß ich nicht, ob ich nun ein Fehler im Netzwerk habe, an den Switchen, usw.
wir haben ein Hyper-V Cluster mit 2 Storages von HP, die an 2 HP Switchen hängen und die wieder an 2 Servern.(Siehe auf dem Bild)
Auf dem iSCSI Cluster liegen dann die Hyper-V Maschinen.
Innerhalb dieser Maschinen habe ich eine Schreibgeschwindigkeit von ca. 100MB/s
Wir haben 4 Hyper-V Netzwerke, CSV, iSCSI, LiveMigration, Management
Die Storages haben jeweils 4 1GB Netzwerkkarten, die Server haben 4 1Gb Netzwerkkarten.
Sobald ich auf dem Cluster den Umgeleiteten Zugriff Aktiviere, habe ich teilweise 1000MB/s aber eben nur auf den Servern an EINER Storage.
Nun weiß ich nicht, ob ich nun ein Fehler im Netzwerk habe, an den Switchen, usw.
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 273128
Url: https://administrator.de/contentid/273128
Printed on: April 24, 2024 at 09:04 o'clock
11 Comments
Latest comment
Hallo,
der Current Mode von 100FDx ist dir auf dem Letzten Bild schon aufgefallen?
der Current Mode von 100FDx ist dir auf dem Letzten Bild schon aufgefallen?
ja aber das ist nur die USV. Die Uplink Ports sind 23/24
Hallo,
Und warum zeigst du uns dann unwichtig Ports 1-8? Bedenke, wir wissen nickt was du da hast oder welche Farbe deine Patchkabel haben....
Dann erwähnst du deine Schreibleistung mit ca. 100 MB/s, klebst aber ein Bild dran wo 52 MB/s steht. Was denn nun? und das du dort RAID 5 mit 8 * SAS Platten machst können wir uns noch zusammen suchen, was es aber mit deine Platten bzw. Storages auf sich... nada. Für eine SATA 5900 U/min ist der Wert deines CrystalDiskMark schon OK.... Ohne Details wirst du keine wirkungsvolle Hilfe bekommen können... (Mein Auto ist Rot, steht in einer Garage und ist morgens immer kaputt. Was ist da los?)
Gruss,
Peter
Und warum zeigst du uns dann unwichtig Ports 1-8? Bedenke, wir wissen nickt was du da hast oder welche Farbe deine Patchkabel haben....
Dann erwähnst du deine Schreibleistung mit ca. 100 MB/s, klebst aber ein Bild dran wo 52 MB/s steht. Was denn nun? und das du dort RAID 5 mit 8 * SAS Platten machst können wir uns noch zusammen suchen, was es aber mit deine Platten bzw. Storages auf sich... nada. Für eine SATA 5900 U/min ist der Wert deines CrystalDiskMark schon OK.... Ohne Details wirst du keine wirkungsvolle Hilfe bekommen können... (Mein Auto ist Rot, steht in einer Garage und ist morgens immer kaputt. Was ist da los?)
Gruss,
Peter
Hallo Peter,
entschuldige ich hatte diese Woche zu wenig Zeit, daher war alles schnell schnell.
Anbei noch ein paar Screenshots.
1. Mir ist aufgefallen das ich an einem Server 2 LUNS habe und am anderen 3 LUNs. Ist das normal?
2. Der Screenshot mit der Geschwindigkeit, war nur so ein Durchschnittswert. Es sind eben mal 50 und mal 100MB/s.
Verschiebe ich alle VMs auf einen Server und stelle das Storage auf "Umgeleiteten Zugriff" habe ich Geschwindigkeiten von ca. 1000MB/s. Sollte ich das nicht immer haben?
3. Wir haben Flow Control an. Ist das Richtig? bzw. gut? Auf den beiden Uplink Ports 23/24 haben wir kein Flow Control. Frame Size ist durchgehend 9000
4. MPIO ist auch an mit Roundrobin
Netzwerk:
Storage:
Switch:
Switch Uplink Ports:
HV01RZ01:
HV02RZ02:
Failover Manager:
Festplatten:
entschuldige ich hatte diese Woche zu wenig Zeit, daher war alles schnell schnell.
Anbei noch ein paar Screenshots.
1. Mir ist aufgefallen das ich an einem Server 2 LUNS habe und am anderen 3 LUNs. Ist das normal?
2. Der Screenshot mit der Geschwindigkeit, war nur so ein Durchschnittswert. Es sind eben mal 50 und mal 100MB/s.
Verschiebe ich alle VMs auf einen Server und stelle das Storage auf "Umgeleiteten Zugriff" habe ich Geschwindigkeiten von ca. 1000MB/s. Sollte ich das nicht immer haben?
3. Wir haben Flow Control an. Ist das Richtig? bzw. gut? Auf den beiden Uplink Ports 23/24 haben wir kein Flow Control. Frame Size ist durchgehend 9000
4. MPIO ist auch an mit Roundrobin
Netzwerk:
Storage:
Switch:
HV01RZ01:
HV02RZ02:
Failover Manager:
Festplatten:
Hallo Leute,
nun hätte ich nochmals ein paar Fragen:
1. Ist ein Hyper-V mit Windows Server 2012 besser über SMB 3.0 oder über iSCSI?
2. Beim iSCSI Netz ist Teaming Aktviert + MPIO. Soweit ich weiß wir das nicht supportet.Wäre es sinnvoller auf dem HP Storage auf den 4 1GB Netzwerkkarten 2 Bonds mit jeweils 2 NICs zu erstellen? Dann müsste ich auch 2 iSCSI Netze erstellen, oder?
3. Was ist die Perfekte Cluster Größe für die Hyper-V Maschinen? Aktuell haben wir 512k.
4. Benötigen wir im iSCSI Netz einen Gateway. Falls, ja wozu? und was für ein Gerät soll den Gateway übernehmen?
5. Flow Control, an oder aus? in welchen Netzen an oder aus?
nun hätte ich nochmals ein paar Fragen:
1. Ist ein Hyper-V mit Windows Server 2012 besser über SMB 3.0 oder über iSCSI?
2. Beim iSCSI Netz ist Teaming Aktviert + MPIO. Soweit ich weiß wir das nicht supportet.Wäre es sinnvoller auf dem HP Storage auf den 4 1GB Netzwerkkarten 2 Bonds mit jeweils 2 NICs zu erstellen? Dann müsste ich auch 2 iSCSI Netze erstellen, oder?
3. Was ist die Perfekte Cluster Größe für die Hyper-V Maschinen? Aktuell haben wir 512k.
4. Benötigen wir im iSCSI Netz einen Gateway. Falls, ja wozu? und was für ein Gerät soll den Gateway übernehmen?
5. Flow Control, an oder aus? in welchen Netzen an oder aus?
Moin,
Gruß,
Dani
1. Ist ein Hyper-V mit Windows Server 2012 besser über SMB 3.0 oder über iSCSI?
Ich würde sagen. SMB 3.0. Du kannst direkt auf das Dateisystem zugreifen und Dateien kopieren/Verschieben/löschen. Falls ihr auf eurem Storage Datendeduplizierung durchführst, wird diese schneller sein als bei iSCSI. Weil einfach eine "Schicht" fehlt.Wäre es sinnvoller auf dem HP Storage auf den 4 1GB Netzwerkkarten 2 Bonds mit jeweils 2 NICs zu erstellen? Dann müsste ich auch 2 iSCSI Netze erstellen, oder?
Da lege ich dir diesen Blogartikel ans Herz.Benötigen wir im iSCSI Netz einen Gateway. Falls, ja wozu? und was für ein Gerät soll den Gateway übernehmen?
Eigentlich nicht.Flow Control, an oder aus? in welchen Netzen an oder aus?
Wir kommen ohne aus. FC verhindert Paketverluss oder Überlastung des Switches. Wobei bei man natürlich im iSCSI-Netzwerk Switches mit großer Buffersize nutzt.Gruß,
Dani
Hi
zu der Frage mit dem Teaming, das sollte man bei iSCSI grundsätzlich sein lassen, MultiPath ist hier effizienter (@Dani: das mit dem DeDup kann ich so nicht bestätigen, hängt aber auch stark vom eingesetzten Storage ab, wenn man das Server 2012R2 DeDup verwendet).
Dann zu den Switchen, hast du dort Storm-Control konfiguriert? Ist evtl. das Broadcastlimit & Multicast Limit zu gering/falsch eingestellt? Ist SpanningTree an? Sind die MPIO Treiber auf dem Hyper-V korrekt eingestellt - evtl. helfen hier auch die orginalen Treiber vom Hersteller - ggf mal schauen ob / welche Karte iSCSI Offload direkt unterstützt.
Bei dem Switch kannst am einfachsten mal eben die Config hier posten (idealerweise in den Code Tag, ansonsten ist das lesen der Config bescheiden), einfach via SSH oder Telnet auf den Switch und "show running-config" - und "Support iSCSI" heisst nicht gleich das es toll funktioniert
Grüße und noch eine gute Nacht
@clSchak
zu der Frage mit dem Teaming, das sollte man bei iSCSI grundsätzlich sein lassen, MultiPath ist hier effizienter (@Dani: das mit dem DeDup kann ich so nicht bestätigen, hängt aber auch stark vom eingesetzten Storage ab, wenn man das Server 2012R2 DeDup verwendet).
Dann zu den Switchen, hast du dort Storm-Control konfiguriert? Ist evtl. das Broadcastlimit & Multicast Limit zu gering/falsch eingestellt? Ist SpanningTree an? Sind die MPIO Treiber auf dem Hyper-V korrekt eingestellt - evtl. helfen hier auch die orginalen Treiber vom Hersteller - ggf mal schauen ob / welche Karte iSCSI Offload direkt unterstützt.
Bei dem Switch kannst am einfachsten mal eben die Config hier posten (idealerweise in den Code Tag, ansonsten ist das lesen der Config bescheiden), einfach via SSH oder Telnet auf den Switch und "show running-config" - und "Support iSCSI" heisst nicht gleich das es toll funktioniert
Grüße und noch eine gute Nacht
@clSchak
Macht dann Teaming bei dem Normalen Management Netz auch keinen Sinn? Da schon oder?
Ich würde nun Teaming im "normalen" Netz einschalten und im iSCSI deaktivieren und dafür nun iSCSI an.
Für MPIO benötige ich doch aber dann 2 Endpunke. Soll ich da nun jeweils eine Storage angeben oder macht es mehr Sinn jeder Storage 2 IPs zu vergeben und die so anzubinden?
Anbei die Switch Config:
Running configuration:
; J9726A Configuration Editor; Created on release #WB.15.13.0014
hostname "SW01RZ02"
module 1 type j9726a
trunk 23-24 trk1 lacp
trunk 5-6 trk2 lacp
trunk 19-22 trk3 lacp
trunk 17-18 trk4 lacp
trunk 11-12 trk5 lacp
trunk 9-10 trk6 lacp
trunk 1-2 trk7 trunk
timesync sntp
sntp unicast
sntp server priority 1 192.168.10.254
time daylight-time-rule western-europe
ip default-gateway 192.168.10.254
ip ssh filetransfer
interface 17
flow-control
exit
interface 18
flow-control
exit
interface 19
flow-control
exit
interface 20
flow-control
exit
interface 21
flow-control
exit
interface 22
flow-control
exit
snmp-server community "public" unrestricted
snmp-server host 192.168.10.137 community "public" trap-level all
oobm
ip address dhcp-bootp
exit
vlan 1
name "DEFAULT_VLAN"
no untagged 15,Trk3-Trk4
untagged 3-4,7-8,13-14,16,A1-A2,B1-B2,Trk2,Trk5-Trk7
tagged Trk1
ip address 192.168.10.250 255.255.255.0
exit
vlan 3
name "iSCSI Netz"
untagged 15,Trk3-Trk4
tagged Trk1
no ip address
jumbo
exit
primary-vlan 3
spanning-tree
spanning-tree Trk1 priority 4
spanning-tree Trk2 priority 4
spanning-tree Trk3 priority 4
spanning-tree Trk4 priority 4
spanning-tree Trk5 priority 4
spanning-tree Trk6 priority 4
spanning-tree Trk7 priority 4
no tftp client
no tftp server
no autorun
no dhcp config-file-update
no dhcp image-file-update
Ich würde nun Teaming im "normalen" Netz einschalten und im iSCSI deaktivieren und dafür nun iSCSI an.
Für MPIO benötige ich doch aber dann 2 Endpunke. Soll ich da nun jeweils eine Storage angeben oder macht es mehr Sinn jeder Storage 2 IPs zu vergeben und die so anzubinden?
Anbei die Switch Config:
Running configuration:
; J9726A Configuration Editor; Created on release #WB.15.13.0014
hostname "SW01RZ02"
module 1 type j9726a
trunk 23-24 trk1 lacp
trunk 5-6 trk2 lacp
trunk 19-22 trk3 lacp
trunk 17-18 trk4 lacp
trunk 11-12 trk5 lacp
trunk 9-10 trk6 lacp
trunk 1-2 trk7 trunk
timesync sntp
sntp unicast
sntp server priority 1 192.168.10.254
time daylight-time-rule western-europe
ip default-gateway 192.168.10.254
ip ssh filetransfer
interface 17
flow-control
exit
interface 18
flow-control
exit
interface 19
flow-control
exit
interface 20
flow-control
exit
interface 21
flow-control
exit
interface 22
flow-control
exit
snmp-server community "public" unrestricted
snmp-server host 192.168.10.137 community "public" trap-level all
oobm
ip address dhcp-bootp
exit
vlan 1
name "DEFAULT_VLAN"
no untagged 15,Trk3-Trk4
untagged 3-4,7-8,13-14,16,A1-A2,B1-B2,Trk2,Trk5-Trk7
tagged Trk1
ip address 192.168.10.250 255.255.255.0
exit
vlan 3
name "iSCSI Netz"
untagged 15,Trk3-Trk4
tagged Trk1
no ip address
jumbo
exit
primary-vlan 3
spanning-tree
spanning-tree Trk1 priority 4
spanning-tree Trk2 priority 4
spanning-tree Trk3 priority 4
spanning-tree Trk4 priority 4
spanning-tree Trk5 priority 4
spanning-tree Trk6 priority 4
spanning-tree Trk7 priority 4
no tftp client
no tftp server
no autorun
no dhcp config-file-update
no dhcp image-file-update
Wo sehe ich ob StormControl an ist?
Moin,
Gruß,
Dani
Ich würde nun Teaming im "normalen" Netz einschalten und im iSCSI deaktivieren und dafür nun iSCSI an.
What willste machen? Wo sehe ich ob StormControl an ist?
auf dem betroffenen Interface würde einer der beiden EInträge existieren:storm-control broadcast
storm-control multicast
Gruß,
Dani
Na ich will das iSCSI Netz über HP MPIO laufen lassen
Also ist StormControl aus.
Also ist StormControl aus.
