13
Schlechte IO Performance, Citrix-NetApp Umgebung
Hallo allerseits,
ich hoffe hier Hilfe zu bekommen, nachdem ich über das Internet nicht wirklich etwas hilfreiches gefunden habe..
Ich verwalte virtuelle Systeme, allem voran Windows, die in einer Umgebung mit NetApp und Citrix XenServern laufen und eine extrem schlechte I/O Performance besitzen.
Dazu erst mal folgende Information zu meiner Umgebung:
Anzahl: 4x
Hypervisor: HP DL380p Gen8
RAM: 262GB
CPUs: Intel Xeon E5-2690, 2.90GHz
Anz. CPU: 32
Build number: 70446c
Version: 6.2 mit SP1
Multipathing über ISCSI aktiviert; vier NICs pro XenServer wird für das Storage LAN verwendet (alle 4 Pfade sind für Multipating aktiv)
NFS v3: aktiviert
derzeitige Auslastung der XenServer ist sehr gering
pro XenServer werden 20-30 VMs betrieben
die virtuellen Datenträger der VMs liegen sowohl auf iSCSI LUNs (Software iSCSI, nicht HBA), als auch auf NFS-Volumes
Geräte: 2x Cisco 2960:
Software Version: 12.2 (55) SE7
CPU Auslastung: 79% / 53%
RAM Auslastung: 39% / 38%
Bandbreitenausnutzung: 2% / 1%
Packet Error Rate: 0%
Gerät: FAS2240-4
Version: Release 8.1.3 7-Mode
Disks : 24 Disks, 1 Spare
Nutzung NetApp Nodes: HA, Node A primär, Node B ist failover
Aggregates :
- aggr0 : 3 Disks, RAID-DP
- aggr_data 16 Disks, RAID-DP
Anzahl Volumes:
- iSCSI LUNs: 12
- NFS Volumes: 28
Network:
- 10Gbit/s
Durchschnittliche Auslastung:
- CPU Auslastung: 20-40%
- I/O Durchsatz:
- Network receive: 40 MB/s
- Network send: 80 MB/s
- Disk read: 80 MB/s
- Disk write: 40 MB/s
- Protocol Ops:
- 1100/s iSCSI
- 700 NFSv3
- Protocol Latency:
- 30/ms iSCSI
- 10/ms NFSv3
Ich habe mit dem Tool IOMeter folgende Werte auf einem Windows Server 2012 R2 (4 vCores, 16GB RAM), dessen virtueller Datenträger auf einer LUN liegt, gemessen:
Einstellungen für den Test:
Target Disk: c
Maximum disk size: 204800 (100MB)
Default Access specification: Default
Update frequency: 10 secs
Run time: 1 minute
Jetzt bleibt die Frage – warum sind die Werte so schlecht? Ich weiß nicht genau welche Werte für die Messungen typisch sind, aber um die I/O Werte sollten doch schon um die 300+ liegen.
Irgendwo muss der Flaschenhals liegen. Nur weiß ich nicht wo.
Weiß jemand einen Rat?
Ich wäre für jede Hilfe wirklich sehr dankbar!
Viele Grüße,
Johannes
ich hoffe hier Hilfe zu bekommen, nachdem ich über das Internet nicht wirklich etwas hilfreiches gefunden habe..
Ich verwalte virtuelle Systeme, allem voran Windows, die in einer Umgebung mit NetApp und Citrix XenServern laufen und eine extrem schlechte I/O Performance besitzen.
Dazu erst mal folgende Information zu meiner Umgebung:
XenServer:
Anzahl: 4xHypervisor: HP DL380p Gen8
RAM: 262GB
CPUs: Intel Xeon E5-2690, 2.90GHz
Anz. CPU: 32
Build number: 70446c
Version: 6.2 mit SP1
Multipathing über ISCSI aktiviert; vier NICs pro XenServer wird für das Storage LAN verwendet (alle 4 Pfade sind für Multipating aktiv)
NFS v3: aktiviert
derzeitige Auslastung der XenServer ist sehr gering
pro XenServer werden 20-30 VMs betrieben
die virtuellen Datenträger der VMs liegen sowohl auf iSCSI LUNs (Software iSCSI, nicht HBA), als auch auf NFS-Volumes
Cisco Switch:
Geräte: 2x Cisco 2960:Software Version: 12.2 (55) SE7
CPU Auslastung: 79% / 53%
RAM Auslastung: 39% / 38%
Bandbreitenausnutzung: 2% / 1%
Packet Error Rate: 0%
NetApp:
Gerät: FAS2240-4Version: Release 8.1.3 7-Mode
Disks : 24 Disks, 1 Spare
Nutzung NetApp Nodes: HA, Node A primär, Node B ist failover
Aggregates :
- aggr0 : 3 Disks, RAID-DP
- aggr_data 16 Disks, RAID-DP
Anzahl Volumes:
- iSCSI LUNs: 12
- NFS Volumes: 28
Network:
- 10Gbit/s
Durchschnittliche Auslastung:
- CPU Auslastung: 20-40%
- I/O Durchsatz:
- Network receive: 40 MB/s
- Network send: 80 MB/s
- Disk read: 80 MB/s
- Disk write: 40 MB/s
- Protocol Ops:
- 1100/s iSCSI
- 700 NFSv3
- Protocol Latency:
- 30/ms iSCSI
- 10/ms NFSv3
Ich habe mit dem Tool IOMeter folgende Werte auf einem Windows Server 2012 R2 (4 vCores, 16GB RAM), dessen virtueller Datenträger auf einer LUN liegt, gemessen:
Einstellungen für den Test:
Target Disk: c
Maximum disk size: 204800 (100MB)
Default Access specification: Default
Update frequency: 10 secs
Run time: 1 minute
Jetzt bleibt die Frage – warum sind die Werte so schlecht? Ich weiß nicht genau welche Werte für die Messungen typisch sind, aber um die I/O Werte sollten doch schon um die 300+ liegen.
Irgendwo muss der Flaschenhals liegen. Nur weiß ich nicht wo.
Weiß jemand einen Rat?
Ich wäre für jede Hilfe wirklich sehr dankbar!
Viele Grüße,
Johannes
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 280094
Url: https://administrator.de/contentid/280094
Printed on: April 23, 2024 at 10:04 o'clock
13 Comments
Latest comment
Hi Johannes,
Hast du Jumbo Frames auf den Switchen, Xen Servern und NetApp aktiviert?
Hast du Jumbo Frames auf den Switchen, Xen Servern und NetApp aktiviert?
Hallo exellent,
nein, ist nicht konfiguriert, da die 2960er Switche dies nur Global unterstützen und momentan der komplette Datenverkehr darüber läuft.
In der Umgebung sind noch Cisco 4500 und 3750er Switche geplant, um den Storage Verkehr physikalisch zu separieren. Dann soll für den Storage Traffic Jumbo Frames konfiguriert werden.
Ich sollte noch eine Testumgebung mit 2x XenServern (v6.5) mit einem FAS2220-2 erwähnen. Dort habe ich ein virtuelles Windows 7 System, auch dort befindet sich der virtuelle Datenträger auf einer LUN. Und da messe ich I/OWerte von 530+..
Auch dort sind keine Jumbo Frames konfiguriert.
nein, ist nicht konfiguriert, da die 2960er Switche dies nur Global unterstützen und momentan der komplette Datenverkehr darüber läuft.
In der Umgebung sind noch Cisco 4500 und 3750er Switche geplant, um den Storage Verkehr physikalisch zu separieren. Dann soll für den Storage Traffic Jumbo Frames konfiguriert werden.
Ich sollte noch eine Testumgebung mit 2x XenServern (v6.5) mit einem FAS2220-2 erwähnen. Dort habe ich ein virtuelles Windows 7 System, auch dort befindet sich der virtuelle Datenträger auf einer LUN. Und da messe ich I/OWerte von 530+..
Auch dort sind keine Jumbo Frames konfiguriert.
Zitat von @Johannes219:
nein, ist nicht konfiguriert, da die 2960er Switche dies nur Global unterstützen und momentan der komplette Datenverkehr
darüber läuft.
nein, ist nicht konfiguriert, da die 2960er Switche dies nur Global unterstützen und momentan der komplette Datenverkehr
darüber läuft.
Moin,
kannst du doch trotzdem konfigurieren, stoert doch nicht.
Koennte zumindest etwas CPU Last von den Switchen nehmen.
VG,
Thomas
1
Okay, das wird etwas dauern, da über den Switchen teilweise produktiver Verkehr geht. Das heißt ich muss das mal am Freitag Abend umsetzen.
Hallo zusammen,
also wenn die CPU Auslastung nicht einmal 50% beträgt wird da Netzwerk technisch
eventuell auch nicht mehr raus zu holen sein.
Dann sollte man schon einmal auf einen Hardware RAID Controller nebst Cachemodul
und BBU schielen! Aber vorher noch einmal eine Frage meinerseits an Dich, wenn kein
HBA verbaut wurde, dann ist in der Regel der RAM der Cache für das RAID System
oder nicht? Wie viel RAM ist denn in den einzelnen Geräten verbaut? Ist das der
Flaschenhals?
Eventuell wenn man zwei 10 GBit/s NICs als LAG aufsetzt und dann statisch via
Round Robin versucht etwas zu machen aber ich denke Du solltest einmal etwas
mehr zu den HDDs schreiben und Dir mal anschauen was denn ein zertifizierter
HBA mit Cachemodul mit BBU kostet.
SAS 10k HDDs
SAS 15k HDDs
SAS SSDs
Gruß
Dobby
also wenn die CPU Auslastung nicht einmal 50% beträgt wird da Netzwerk technisch
eventuell auch nicht mehr raus zu holen sein.
Dann sollte man schon einmal auf einen Hardware RAID Controller nebst Cachemodul
und BBU schielen! Aber vorher noch einmal eine Frage meinerseits an Dich, wenn kein
HBA verbaut wurde, dann ist in der Regel der RAM der Cache für das RAID System
oder nicht? Wie viel RAM ist denn in den einzelnen Geräten verbaut? Ist das der
Flaschenhals?
Eventuell wenn man zwei 10 GBit/s NICs als LAG aufsetzt und dann statisch via
Round Robin versucht etwas zu machen aber ich denke Du solltest einmal etwas
mehr zu den HDDs schreiben und Dir mal anschauen was denn ein zertifizierter
HBA mit Cachemodul mit BBU kostet.
SAS 10k HDDs
SAS 15k HDDs
SAS SSDs
Gruß
Dobby
Zitat von @108012:
Dann sollte man schon einmal auf einen Hardware RAID Controller nebst Cachemodul
und BBU schielen! Aber vorher noch einmal eine Frage meinerseits an Dich, wenn kein
HBA verbaut wurde, dann ist in der Regel der RAM der Cache für das RAID System
oder nicht? Wie viel RAM ist denn in den einzelnen Geräten verbaut? Ist das der
Flaschenhals?
RAM steht doch da, was soll er mit nem RAID Controller? Macht doch alles die Netapp, wobei da 24 Spindeln fuer 80+ Server natuerlich auch mager ist.Dann sollte man schon einmal auf einen Hardware RAID Controller nebst Cachemodul
und BBU schielen! Aber vorher noch einmal eine Frage meinerseits an Dich, wenn kein
HBA verbaut wurde, dann ist in der Regel der RAM der Cache für das RAID System
oder nicht? Wie viel RAM ist denn in den einzelnen Geräten verbaut? Ist das der
Flaschenhals?
Eventuell wenn man zwei 10 GBit/s NICs als LAG aufsetzt und dann statisch via
Round Robin versucht etwas zu machen aber ich denke Du solltest einmal etwas
mehr zu den HDDs schreiben und Dir mal anschauen was denn ein zertifizierter
HBA mit Cachemodul mit BBU kostet.
SAS 10k HDDs
SAS 15k HDDs
SAS SSDs
Round Robin versucht etwas zu machen aber ich denke Du solltest einmal etwas
mehr zu den HDDs schreiben und Dir mal anschauen was denn ein zertifizierter
HBA mit Cachemodul mit BBU kostet.
SAS 10k HDDs
SAS 15k HDDs
SAS SSDs
Er hat ja im Moment nur 1G Switche, wird also nix werden. Und die Platten sind wie schon gesagt in der Netapp...
VG,
Thomas
RAM steht doch da,
Nicht bei der Netapp, oder habe ich das noch einmal übersehen?was soll er mit nem RAID Controller? Macht doch alles die Netapp,
wobei da 24 Spindeln fuer 80+ Server natuerlich auch mager ist.
Und in der Netapp lassen sich keine HBAs einbauen?wobei da 24 Spindeln fuer 80+ Server natuerlich auch mager ist.
Er hat ja im Moment nur 1G Switche, wird also nix werden.
OkUnd die Platten sind wie schon gesagt in der Netapp...
Und ich hätte ja auch nur gerne gewusst was für welche.Gruß
Dobby
Zitat von @108012:
Nicht bei der Netapp, oder habe ich das noch einmal übersehen?
Naja, dafuer steht der Netapp Typ da, der hat 12GB RAM.Nicht bei der Netapp, oder habe ich das noch einmal übersehen?
Und in der Netapp lassen sich keine HBAs einbauen?
In der Version? Nein.Und ich hätte ja auch nur gerne gewusst was für welche.
SATA, das Gehauese unterstuetzt kein SAS. Sagt Netapp...http://www.netapp.com/de/communities/tech-ontap/tot-fas2240-inside-look ...
1Naja, dafuer steht der Netapp Typ da, der hat 12GB RAM.
Alles klar danke, aber hätte ich doch auch drauf kommen können, ist wohl das WetterEntschuldigung für das Nerven!
SATA, das Gehauese unterstuetzt kein SAS. Sagt Netapp...
Alles klar . Dito siehe oben, ist eben nicht mein Tag heute.Gruß
Dobby
Guten morgen,
das ist so nicht ganz richtig. Ich muss mir leider diese Informationen auch erst zusammen suchen, da der Kollege, der diese ganze Sache betreut im Urlaub ist. Murphysb Gesetz, dass sich jetzt erst einige Kunden wegen schlechter Performance beschweren..
Hier mal ein Bild der Disks im NetApp:
Also kein SATA sondern SAS Disks. Hätte ich auch schon eher posten können, sry.
das ist so nicht ganz richtig. Ich muss mir leider diese Informationen auch erst zusammen suchen, da der Kollege, der diese ganze Sache betreut im Urlaub ist. Murphysb Gesetz, dass sich jetzt erst einige Kunden wegen schlechter Performance beschweren..
Hier mal ein Bild der Disks im NetApp:
Also kein SATA sondern SAS Disks. Hätte ich auch schon eher posten können, sry.
Zitat von @Johannes219:
Also kein SATA sondern SAS Disks. Hätte ich auch schon eher posten können, sry.
Also kein SATA sondern SAS Disks. Hätte ich auch schon eher posten können, sry.
Moin,
Das sind Nearline SAS Platten, also SATA mit SAS Interface.
Aus meiner Sicht eher was fuer Backup als fuer VMs.
VG,
Thomas
1
Guten morgen,
die Aktivierung der Jumbo Frames hat leider nichts gebracht.
Ich habe mir mal noch eine andere Testumgebung angeschaut, die ohne Last arbeitet. NetApp wäre ein FAS 2220-2 (gleiche Platten wie das FAS2240 in meiner Umgebung) und zwei XenServer v6.5 auf HP 380 G7 Maschinen. Switche sind die 3750er, die in meiner Umgebung geplant, aber noch nicht im Einsatz sind.
Dort entsprechen die Werte eher meinen Erwartungen:
Virtueller Datenträger auf einer LUN:
IO/s:536
Virtueller Datenträger auf einem NFS Volume:
IO/s:155
Da die LUN per iSCSI auch im Bezug zum NFS 4x 1Gb/s nutzt und das NFS nur 1 Gbit/s passen auch die Werte zueinander.
Deswegen begreife ich noch immer nicht, warum gerade die iscsi-Anbindung in meiner Umgebung einfach grottig ist.
Nochmal die Werte dazu:
Virtueller Datenträger auf einer LUN:
IO/s: 10-20
Virtueller Datenträger auf einem NFS Volume:
IO/s: 30
Da sind komischerweise die NFS Werte sogar besser als die der iSCSI LUN..
die Aktivierung der Jumbo Frames hat leider nichts gebracht.
Ich habe mir mal noch eine andere Testumgebung angeschaut, die ohne Last arbeitet. NetApp wäre ein FAS 2220-2 (gleiche Platten wie das FAS2240 in meiner Umgebung) und zwei XenServer v6.5 auf HP 380 G7 Maschinen. Switche sind die 3750er, die in meiner Umgebung geplant, aber noch nicht im Einsatz sind.
Dort entsprechen die Werte eher meinen Erwartungen:
Virtueller Datenträger auf einer LUN:
IO/s:536
Virtueller Datenträger auf einem NFS Volume:
IO/s:155
Da die LUN per iSCSI auch im Bezug zum NFS 4x 1Gb/s nutzt und das NFS nur 1 Gbit/s passen auch die Werte zueinander.
Deswegen begreife ich noch immer nicht, warum gerade die iscsi-Anbindung in meiner Umgebung einfach grottig ist.
Nochmal die Werte dazu:
Virtueller Datenträger auf einer LUN:
IO/s: 10-20
Virtueller Datenträger auf einem NFS Volume:
IO/s: 30
Da sind komischerweise die NFS Werte sogar besser als die der iSCSI LUN..
Sry das ich einen so alten Post kommentiere aber ich habe ähnliche Probleme. Konntest du das Problem lösen?
