5
Schlechte Random-Write-Performance mit SSDs im RAID 10. Was kann ich machen?
Hallo Community,
wir bauen für einen Kunden gerade einen Server (Chassis, Motherboard, RAID-Controller von Intel) zur Virtualisierung von ein paar Applikations- und DB-Servern unter Hyper-V 2012. Die Hardware läuft schon, Microsoft Server 2012 RTM mit der Hyper-V Rolle als Host und ein Microsoft Server 2008 R2 als Guest sind testweise installiert. Mich hat nun die Performance des SSD-Arrays interessiert, bin da aber teils auf nicht so erfreuliche Werte gestoßen.
Details:
SSD: 4 x 512 GB Plextor M5Pro im RAID 10 (plus eine Hot-Spare)
Intel RS25DB080 RAID Controller mit 1 GB Cache und BBU (Write-Cache aktiv)
64 GB RAM
2 x E5-2630 CPU
HDD-Array mit großen SAS-Platten als Datenspeicher
Beim CrystalDiskMark hat sich für das SSD-Array folgendes ergeben (im Vergleich zu einem Einzeltest der M5Pro im Internet):
- Sequentiell lesen und 512K Blöcke um den Faktor 2 schneller.
- 4K random lesen etwa gleich auf.
- Sequentiell schreiben und 512K Blöcke etwas langsamer.
- 4K random schreiben drastisch schlechter (Faktor 3-4)!!
Ich kann mir das nun nicht ganz erklären; warum ist die Random-Write-Performance so mies? Kostet RAID 10 gegenüber einer einzelnen Platte soviel an Schreib-Leistung? Was könnte ich testen bzw. dagegen machen?
Vielen Dank für eure Inputs.
LG Stefan
PS: Interessantes Detail am Rande: Die ReFS Partition für die VHDs ist beim sequentiellen Schreiben bzw. bei großen Blöcken deutlich schneller als die NTFS Partition, bei 4K random dafür etwas schlechter.
PPS: Ich beschäftige mich eher selten mit Hardware. Wir machen vorrangig Software und liefern Hardware nur auf expliziten Kundenwunsch mit aus. Daher ist es gut möglich, dass ich etwas Offensichtliches falsch gemacht habe. Bitte in diesem Falle gleich um Nachsicht
wir bauen für einen Kunden gerade einen Server (Chassis, Motherboard, RAID-Controller von Intel) zur Virtualisierung von ein paar Applikations- und DB-Servern unter Hyper-V 2012. Die Hardware läuft schon, Microsoft Server 2012 RTM mit der Hyper-V Rolle als Host und ein Microsoft Server 2008 R2 als Guest sind testweise installiert. Mich hat nun die Performance des SSD-Arrays interessiert, bin da aber teils auf nicht so erfreuliche Werte gestoßen.
Details:
SSD: 4 x 512 GB Plextor M5Pro im RAID 10 (plus eine Hot-Spare)
Intel RS25DB080 RAID Controller mit 1 GB Cache und BBU (Write-Cache aktiv)
64 GB RAM
2 x E5-2630 CPU
HDD-Array mit großen SAS-Platten als Datenspeicher
Beim CrystalDiskMark hat sich für das SSD-Array folgendes ergeben (im Vergleich zu einem Einzeltest der M5Pro im Internet):
- Sequentiell lesen und 512K Blöcke um den Faktor 2 schneller.
- 4K random lesen etwa gleich auf.
- Sequentiell schreiben und 512K Blöcke etwas langsamer.
- 4K random schreiben drastisch schlechter (Faktor 3-4)!!
Ich kann mir das nun nicht ganz erklären; warum ist die Random-Write-Performance so mies? Kostet RAID 10 gegenüber einer einzelnen Platte soviel an Schreib-Leistung? Was könnte ich testen bzw. dagegen machen?
Vielen Dank für eure Inputs.
LG Stefan
PS: Interessantes Detail am Rande: Die ReFS Partition für die VHDs ist beim sequentiellen Schreiben bzw. bei großen Blöcken deutlich schneller als die NTFS Partition, bei 4K random dafür etwas schlechter.
PPS: Ich beschäftige mich eher selten mit Hardware. Wir machen vorrangig Software und liefern Hardware nur auf expliziten Kundenwunsch mit aus. Daher ist es gut möglich, dass ich etwas Offensichtliches falsch gemacht habe. Bitte in diesem Falle gleich um Nachsicht
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 190927
Url: https://administrator.de/contentid/190927
Printed on: April 26, 2024 at 20:04 o'clock
5 Comments
Latest comment
Hallo cobrito,
hatte ein ähnliches Problem auch schon einmal - bei mir war der Lese / Schreib Cache deaktiviert. Das aktivieren ist aber auch nur empfohlen wenn ein Batteriepack benutzt wird, da sonst - im Falle des Stromausfalls - die Änderungen die noch nicht auf die HDD geschrieben wurden weg sind!
Grüße
win-dozer
hatte ein ähnliches Problem auch schon einmal - bei mir war der Lese / Schreib Cache deaktiviert. Das aktivieren ist aber auch nur empfohlen wenn ein Batteriepack benutzt wird, da sonst - im Falle des Stromausfalls - die Änderungen die noch nicht auf die HDD geschrieben wurden weg sind!
Grüße
win-dozer
Hi, danke für die Antwort.
Allerdings ist ein Batteriepack installiert und laut RAID-Bios auch erkannt und aktiv. Der Write-Cache ist auf "WRITE BACK WITH BBU" gestellt, sollte also aktiv sein. Möglich wäre, dass die BBU noch nicht ganz voll geladen oder gerade in einem Lern-Zyklus ist und daher der Cache temporär inaktiv war. Werd das morgen nochmals testen.
Allerdings ist ein Batteriepack installiert und laut RAID-Bios auch erkannt und aktiv. Der Write-Cache ist auf "WRITE BACK WITH BBU" gestellt, sollte also aktiv sein. Möglich wäre, dass die BBU noch nicht ganz voll geladen oder gerade in einem Lern-Zyklus ist und daher der Cache temporär inaktiv war. Werd das morgen nochmals testen.
Also, der Write-Cache ist definitiv aktiv. Ohne Write-Cache stürzen die Werte noch einmal dramatisch ab.
Ich will ja nicht jammern und bin mit den Werten an und für sich eh zufrieden (im Vergleich zu normalen HDDs), trotzdem würde ich gerne verstehen, warum das zufällige Schreiben von kleinen Blöcken im RAID 10 2/3 der Performance gegenüber einer einzigen Platte (Internet-Testwerte) verliert.
Single-Platte------RAID 10 Array------RAID 10 Array ohne Write-Cache
4K Write--------------103-----------------41-----------------------------2
4K QD32 Write-----349-----------------85----------------------------47
Kann mir das einer erklären? Und warum stürzen diese Werte noch einmal dramatisch ein, wenn der Write-Cache abgeschaltet wird? Das entspricht dann plötzlich HDD-Werten - das SSD Array sollte ja doch auch ohne Write-Cache deutlich schneller sein. Kostet RAID 10 beim Schreiben wirklich so viel? Ich hätte jedenfalls nicht damit gerechnet...
Die Lesewerte sind alle im grünen Bereich (sequentiell und bei den 512K Blöcken sogar herausragend).
LG Stefan
Ich will ja nicht jammern und bin mit den Werten an und für sich eh zufrieden (im Vergleich zu normalen HDDs), trotzdem würde ich gerne verstehen, warum das zufällige Schreiben von kleinen Blöcken im RAID 10 2/3 der Performance gegenüber einer einzigen Platte (Internet-Testwerte) verliert.
Single-Platte------RAID 10 Array------RAID 10 Array ohne Write-Cache
4K Write--------------103-----------------41-----------------------------2
4K QD32 Write-----349-----------------85----------------------------47
Kann mir das einer erklären? Und warum stürzen diese Werte noch einmal dramatisch ein, wenn der Write-Cache abgeschaltet wird? Das entspricht dann plötzlich HDD-Werten - das SSD Array sollte ja doch auch ohne Write-Cache deutlich schneller sein. Kostet RAID 10 beim Schreiben wirklich so viel? Ich hätte jedenfalls nicht damit gerechnet...
Die Lesewerte sind alle im grünen Bereich (sequentiell und bei den 512K Blöcken sogar herausragend).
LG Stefan
Hm, das RAID Array an sich ist nicht schuld. Ich hab die Hot-Spare rausgenommen und einzeln getestet. Die Werte liegen durchwegs etwas unter den Werten des RAID-Arrays. Ich muss die Frage also umformulieren: Was macht mein Controller falsch bzw. was habe ich falsch eingestellt, sodass die Random Writes mit kleinen Blöcken nicht besser sind?
richtiger RAID Treiber? richtige Stripe Size?
Wenn ich das richtig raus lese, wird offiziell auch nur die SSD als Beschleuniger akzeptiert und nicht direkt als Datenträger. Vll. will Intel auch nur ein besseres Modell verkaufen...?
Alternative wäre z.B. eine LSI MegaRAID SAS 9260 Karte.
Wenn ich das richtig raus lese, wird offiziell auch nur die SSD als Beschleuniger akzeptiert und nicht direkt als Datenträger. Vll. will Intel auch nur ein besseres Modell verkaufen...?
Alternative wäre z.B. eine LSI MegaRAID SAS 9260 Karte.