21
Raid Controller 6405E mit SAS 15k Platten schlechte Performance
Hallo erstmal, nachdem ich jetzt mal die Virtuellen Server (2) auf ein anderes Raid packen wollte habe ich mir eine Adaptec 6405E zugelegt und 4x 15K Seagate 450GB (glaube ich).
Windows Server 2008R2 ist auf dem OnBoard Raid 1 installiert und nur Hyper-V aktiv.
Die VMs wollte ich jetzt auf das RAID 10 auslagern.
Allerdings erhalte ich eine unterirdische Performance 150MB/s lesen und 70MB/s schreiben (getestet mit ChrystalDiskMark) - Write Cache ist aktiviert, kann mir vielleicht einer ein Tipp geben woran es noch liegen kann, weil da schreibt ja mein Raid 1 mit SATA Platten schneller.
Achso, Firmware und Bios des Controllers sind aktuell.
Danke!
Windows Server 2008R2 ist auf dem OnBoard Raid 1 installiert und nur Hyper-V aktiv.
Die VMs wollte ich jetzt auf das RAID 10 auslagern.
Allerdings erhalte ich eine unterirdische Performance 150MB/s lesen und 70MB/s schreiben (getestet mit ChrystalDiskMark) - Write Cache ist aktiviert, kann mir vielleicht einer ein Tipp geben woran es noch liegen kann, weil da schreibt ja mein Raid 1 mit SATA Platten schneller.
Achso, Firmware und Bios des Controllers sind aktuell.
Danke!
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 226986
Url: https://administrator.de/contentid/226986
Printed on: April 24, 2024 at 23:04 o'clock
21 Comments
Latest comment
wie schaut denn das restliche System aus?
Sers,
an welcher Stelle hast du die Messungen denn durchgeführt? Direkt auf dem R10 aus dem Hypervisor heraus? Aus einer VM heraus? Wenn aus einer VM ist das Volume direkt eingebunden, oder sprechen wir hier von einem Benchmark aus einer Gen1 VHD?
Abgesehen von all den Fragen, der Controller ist via PCIe x1 2.0 angebunden. Damit gingen theoretisch 500MB/s je Richtung. Ist der Port auf dem Mainboard allerdings einer nach Version 1.0, dann nur 250MB/s.
Du sagst der "Cache ist aktiv". Meinst du damit den auf dem Controller, oder den der Festplatten? Oder beide? Wie steht es um Read Ahead raten? Ist das Raid überhaupt fertig initialisiert, oder rödelt es noch im Hintergrund?
Stichwort Firmware: Firmware der HDDs ebenfalls aktuell?
Grüße,
Philip
an welcher Stelle hast du die Messungen denn durchgeführt? Direkt auf dem R10 aus dem Hypervisor heraus? Aus einer VM heraus? Wenn aus einer VM ist das Volume direkt eingebunden, oder sprechen wir hier von einem Benchmark aus einer Gen1 VHD?
Abgesehen von all den Fragen, der Controller ist via PCIe x1 2.0 angebunden. Damit gingen theoretisch 500MB/s je Richtung. Ist der Port auf dem Mainboard allerdings einer nach Version 1.0, dann nur 250MB/s.
Du sagst der "Cache ist aktiv". Meinst du damit den auf dem Controller, oder den der Festplatten? Oder beide? Wie steht es um Read Ahead raten? Ist das Raid überhaupt fertig initialisiert, oder rödelt es noch im Hintergrund?
Stichwort Firmware: Firmware der HDDs ebenfalls aktuell?
Grüße,
Philip
16GB RAM, XEON 4Kern, 2 SATA als Raid1
Gemessen habe ich den Speed direkt auf dem physikalischen Server. Ist ein P7F-M Mainboard, lt. Handbuch PCIe 2.0. Der Cache auf dem Controller ist aktiv, von den Platten war er per Default aktiv. Bei der 6405E kann man ja diese direkte Initialisierung machen, also im maxview storage Manager sehe ich nicht das er noch initialisiert.
Firmware der HDDs muss ich prüfen.
Ich habe das Raid aus dem Controller BIOS erstellt, daran kann es doch nicht liegen oder ? - oder muss ich es aus dem maxview Storage Manager erstellen? Aber das wäre ja Humbug.
/e: Firmware für die HDDs gibt es keine neuere
Firmware der HDDs muss ich prüfen.
Ich habe das Raid aus dem Controller BIOS erstellt, daran kann es doch nicht liegen oder ? - oder muss ich es aus dem maxview Storage Manager erstellen? Aber das wäre ja Humbug.
/e: Firmware für die HDDs gibt es keine neuere
Ich vermute, dass das Board einfach ausbremst. Scheint ja doch schon etwas älter zu sein, wenn man nichtmal mehr Preise dafür bekommt.
Aber es unterstützt PCIe 2.0, also von der Rate her sollte das doch gehen.
Theoretisch kann SATA auch momentan bis zu 6GB/s - weisst du, was am Ende dabei herauskommt? Genau das ist der Knackpunkt, warum es auch sinnlos ist ein System nur per CPU, Ram und Graka zu definieren. (Wenn man mal vom einfachen PC ausgeht) hier hast du dasselbe Problem.
Ich habe jetzt gerade noch einmal bei Adapter geguckt, da steht sogar das Board auf der Kompatibilitätsliste, dass kann es also eigentlich nicht sein http://download.adaptec.com/pdfs/compatibility_report/arc-sas_cr_06-10- ...
Moin,
was hast du sonst noch so alles eingestellt für das Raid? Stripe Size?
Hängt der Controller in dem PCIe x8 (real x4) oder in dem x16 Slot?
was hast du sonst noch so alles eingestellt für das Raid? Stripe Size?
Hängt der Controller in dem PCIe x8 (real x4) oder in dem x16 Slot?
Strip Size ist auf Standard 256kb, habe Sie schon an beide PCIe slots gehangen, an dem x16 ist er dann beim lesen auf 250MB/s gegangen, schreiben aber weiterhin 70MB/s.
o.0
Also, das Board ist in Ordnung, hatte ich auch schon im Einsatz. Der x8, der elektrisch als x4 ausgebaut ist, ist nach v1 angebunden, sprich max 250MB/s/Lane/Richtung. Der x16er nach v2, also mit der doppelten Bandbreite.
Ließ dich doch mal bitte in den Begriff "Stripe Size" bei Raids ein. Die Sektorgröße der Platten wird wohl 512Byte sein. Und dann überleg was du von dieser Stripe Size hälst. Speziell für dein Anwendungsgebiet.
Letzte Frage: Sind die Festplatten im Controller als Write-Back oder Write-Through eingetragen?
Also, das Board ist in Ordnung, hatte ich auch schon im Einsatz. Der x8, der elektrisch als x4 ausgebaut ist, ist nach v1 angebunden, sprich max 250MB/s/Lane/Richtung. Der x16er nach v2, also mit der doppelten Bandbreite.
Ließ dich doch mal bitte in den Begriff "Stripe Size" bei Raids ein. Die Sektorgröße der Platten wird wohl 512Byte sein. Und dann überleg was du von dieser Stripe Size hälst. Speziell für dein Anwendungsgebiet.
Letzte Frage: Sind die Festplatten im Controller als Write-Back oder Write-Through eingetragen?
Meinst du jetzt auf dem Controller oder auf der Festplatte selbst?
Also auf Controller habe ich Write Back enabled und auf den Platten ist es standard so eingestellt.
Ich weiß sonst auch nicht weiter, Kabel kaputt?!? - mehr fällt mir nicht mehr ein
/e: Habe Raid noch einmal gelöscht und dann neu angelegt - habe dann auch mal die Strip SIze auf 512 gesetzt, habe jetzt 317MB/s read und 290MB/s write
Also auf Controller habe ich Write Back enabled und auf den Platten ist es standard so eingestellt.
Ich weiß sonst auch nicht weiter, Kabel kaputt?!? - mehr fällt mir nicht mehr ein
/e: Habe Raid noch einmal gelöscht und dann neu angelegt - habe dann auch mal die Strip SIze auf 512 gesetzt, habe jetzt 317MB/s read und 290MB/s write
Write Back ist in Ordnung. Read Ahead auf dem Controller für das RAID testweise mal deaktiviert?
Was sagst du mittlerweile zu deiner Stripe Size?
Und um mal eine Aussage zu deinem schönen Benchmark zu bekommen. Auf welche Tests beziehen sich die 250 und 70 MB/s? Seq. Reads & Writes? Bei welcher Größe? Bei welcher QD, etc, etc, etc.? Und wie ist dein Raid Volume formatiert? Hast du da selbst eine Sektorgröße angegeben, oder es auf Automatik gelassen?
Was sagst du mittlerweile zu deiner Stripe Size?
Und um mal eine Aussage zu deinem schönen Benchmark zu bekommen. Auf welche Tests beziehen sich die 250 und 70 MB/s? Seq. Reads & Writes? Bei welcher Größe? Bei welcher QD, etc, etc, etc.? Und wie ist dein Raid Volume formatiert? Hast du da selbst eine Sektorgröße angegeben, oder es auf Automatik gelassen?
Hatt das Read Ahead gestern schon einmal deaktiviert was keinen Erfolg hatte. Die Performance ist ja jetzt schon einmal viel besser, ist das ausschließlich auf die Stripe Size zu führen, ich lese gerade etwas aber richtig viel schlauer bin ich bis dato noch nicht.
Die Sektorgröße habe ich auf automatisch gelassen, sollte ich das da auch anpassen - bzw. wie sehe ich was er als "automatisch genommen hat?
Hier mal der Auszug aus dem Benchmark
CrystalDiskMark 3.0.3 x64 (C) 2007-2013 hiyohiyo
Crystal Dew World : http://crystalmark.info/
Sequential Read : 317.078 MB/s
Sequential Write : 277.953 MB/s
Test : 1000 MB [V: 0.0% (0.1/1116.0 GB)] (x5)
Date : 2014/01/18 10:45:46
Die Sektorgröße habe ich auf automatisch gelassen, sollte ich das da auch anpassen - bzw. wie sehe ich was er als "automatisch genommen hat?
Hier mal der Auszug aus dem Benchmark
CrystalDiskMark 3.0.3 x64 (C) 2007-2013 hiyohiyo
Crystal Dew World : http://crystalmark.info/
- MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]
Sequential Read : 317.078 MB/s
Sequential Write : 277.953 MB/s
Test : 1000 MB [V: 0.0% (0.1/1116.0 GB)] (x5)
Date : 2014/01/18 10:45:46
Die Read-Ahead Funktion von Raidcontrollern kann dir die Leseperformance steigern. Davon profitieren sequenzielle Datenblöcke, also wenn man so will große Dateien. Was darunter leidet ist die Leseperformance bei Randomzugriffen.
Vielleicht bringt dich die Stripe Size so weiter: Wie wirkt sie sich aus wenn du große Dateien am Stück lesen willst, oder viele kleine verteilte Dateien? Und daran überlegst du dann was du eigentlich mit dem Raid machst.
Bedenke: Große Dateien verhalten sich nicht immer gleich. Ein 50 GB Video wird sequenziell eingelesen, aber in einer 50 GB großen virtuellen Festplatte einer aktiven VM wird ständig hin und her gesprungen.
Jetzt wäre eigentlich noch interessant welches Modell die SAS HDDs sind. Nicht dass das alte Teile sind (aus der Zeit des MB, oder älter) und einfach nicht wirklich mehr bringen.
Vielleicht bringt dich die Stripe Size so weiter: Wie wirkt sie sich aus wenn du große Dateien am Stück lesen willst, oder viele kleine verteilte Dateien? Und daran überlegst du dann was du eigentlich mit dem Raid machst.
Bedenke: Große Dateien verhalten sich nicht immer gleich. Ein 50 GB Video wird sequenziell eingelesen, aber in einer 50 GB großen virtuellen Festplatte einer aktiven VM wird ständig hin und her gesprungen.
Jetzt wäre eigentlich noch interessant welches Modell die SAS HDDs sind. Nicht dass das alte Teile sind (aus der Zeit des MB, oder älter) und einfach nicht wirklich mehr bringen.
Seagate Cheetah 15k 600GB SAS - sind auch auf der Kompatibilitätsliste des Controllers. Habe auch mal mit 50MB Größe gebenchmarkt bleibt 320 lesen 280 schreiben
Auf dem RAID werden nur VMs liegen - was wäre da deiner Meinung nach eine gute Strip Size?
Auf dem RAID werden nur VMs liegen - was wäre da deiner Meinung nach eine gute Strip Size?
Das genaue Modell meinte ich, nicht die Modellreihe. Ist es eine 15k.1, 15k.2, .... 15k.7?
Und hör mal auf mit den schönen Benchmarks. Das hört sich alles nach sequenziell an, bei VMs hast du ein Mischmasch von Random und Seq.
Stripe Size musst du wirklich auf deine Anforderung und Situation anpassen. Etwa ob ne Datenbank drauf läuft, und wenn ja was für eine. DB Pages im MS SQL2005 haben 64k, im 2008er aber 8k z.B.. Für DBs nehm ich immer gern Page * 4 = Stripe, würde also 32k Stripe Size für ne MS SQL 2008 DB nehmen.
Bei VMs kann es interessant werden welches Containerformat die virtuellen Festplatten verwendet. VHDX e.g. skaliert auf 4k. VMFS auf der anderen Seite auf 128k (korrigiert mich bitte wer an der Stelle, bin mir nicht sicher). Fakt ist, ich würde es tunlichst vermeiden auf 4k Stripe Size zu gehen.
Grob über den Daumen ohne genau zu wissen was deine VMs tun sollen würde ich dir 64k als Stripe Size empfehlen. Und auch nur deshalb weil es ein gesundes Mittel ist mit dem man nicht sonderlich viel falsch machen kann.
Mal ehrlich, wenn du wirklich pure Performance wolltest, dann hast du hier am Controller nen Fehlkauf erlebt.
Und hör mal auf mit den schönen Benchmarks. Das hört sich alles nach sequenziell an, bei VMs hast du ein Mischmasch von Random und Seq.
Stripe Size musst du wirklich auf deine Anforderung und Situation anpassen. Etwa ob ne Datenbank drauf läuft, und wenn ja was für eine. DB Pages im MS SQL2005 haben 64k, im 2008er aber 8k z.B.. Für DBs nehm ich immer gern Page * 4 = Stripe, würde also 32k Stripe Size für ne MS SQL 2008 DB nehmen.
Bei VMs kann es interessant werden welches Containerformat die virtuellen Festplatten verwendet. VHDX e.g. skaliert auf 4k. VMFS auf der anderen Seite auf 128k (korrigiert mich bitte wer an der Stelle, bin mir nicht sicher). Fakt ist, ich würde es tunlichst vermeiden auf 4k Stripe Size zu gehen.
Grob über den Daumen ohne genau zu wissen was deine VMs tun sollen würde ich dir 64k als Stripe Size empfehlen. Und auch nur deshalb weil es ein gesundes Mittel ist mit dem man nicht sonderlich viel falsch machen kann.
Mal ehrlich, wenn du wirklich pure Performance wolltest, dann hast du hier am Controller nen Fehlkauf erlebt.
Zitat von @psannz:
Mal ehrlich, wenn du wirklich pure Performance wolltest, dann hast du hier am Controller nen Fehlkauf erlebt.
Mal ehrlich, wenn du wirklich pure Performance wolltest, dann hast du hier am Controller nen Fehlkauf erlebt.
Da du hier Korrektur einforderst: Nein, das ganze System ist dann ein Fehlkauf ;)
Zitat von @falscher-sperrstatus:
> Zitat von @psannz:
>
> Mal ehrlich, wenn du wirklich pure Performance wolltest, dann hast du hier am Controller nen Fehlkauf erlebt.
Da du hier Korrektur einforderst: Nein, das ganze System ist dann ein Fehlkauf ;)
> Zitat von @psannz:
>
> Mal ehrlich, wenn du wirklich pure Performance wolltest, dann hast du hier am Controller nen Fehlkauf erlebt.
Da du hier Korrektur einforderst: Nein, das ganze System ist dann ein Fehlkauf ;)
So nicht unbedingt richtig. Wie gesagt, hatte von denen auch ein paar im Unternehmen. Die meisten Workstations sind raus an MAs, aber 2 sind noch im Einsatz. Sind jeweils P410er HP Controller drauf und fungieren als sek. Backuptarget & Datenarchiv.
Zur Virtualisierung reichen die Dinger auch aus: VTx und VTd werden unterstützt. Als kleine Testumgebung also ok.
Nur Geld würd ich für das Board heute ganz sicher nicht mehr ausgeben ^^
Nun, er erwartet aber offensichtlich entsprechende Werte und unter diesem Aspekt....genau ;)
Das System ist ja auch schon ein paar Jahre, nur der Controller und Festplatten sind neu. Ich habe beim Kauf auf Kompatibiliätt geachtet, mehr kann man wohl nicht tun. @certifiedit es ist nicht immer sinnvoll für jeden Dreck was neu zu kaufen, bei uns arbeiten ein paar Leutchen, man sollte das auch immer bedenken das diese Konstellation hier nicht für große Umgebungen ist. Deine Aussage immer nur alt nicht kompatible treffen hier nur leider nie zu.
Es ging mir nur die 3 VMs nicht mehr auf dem Raid1 laufen zu lassen.
Daher auch die Entscheidung zu dem Controller, ich habe vorher schon gelesen was er kann und was nicht. Das er nicht die Performance eines z.B. 400 Euro Controllers bringt ist mir klar, aber man kauft ja auch Hardware nach dem System was man besitzt und mehr als auf Kompatibilität achten kann man nicht, wenn man nicht täglich mit dieser Hardware zutun hat.
Ich habe nicht von entsprechender Performance gesprochen aber 70MB schreiben war am Anfang einfach unterirdisch, ich hätte auch nicht gebenchmarkt wenn ich während der Installation einer VM die Performance so schlecht gewesen wäre. Das ist jetzt deutlich besser und da keine DB darauf läuft werde ich mit der Strip Size einfach mal sehen.
Es ging mir nur die 3 VMs nicht mehr auf dem Raid1 laufen zu lassen.
Daher auch die Entscheidung zu dem Controller, ich habe vorher schon gelesen was er kann und was nicht. Das er nicht die Performance eines z.B. 400 Euro Controllers bringt ist mir klar, aber man kauft ja auch Hardware nach dem System was man besitzt und mehr als auf Kompatibilität achten kann man nicht, wenn man nicht täglich mit dieser Hardware zutun hat.
Ich habe nicht von entsprechender Performance gesprochen aber 70MB schreiben war am Anfang einfach unterirdisch, ich hätte auch nicht gebenchmarkt wenn ich während der Installation einer VM die Performance so schlecht gewesen wäre. Das ist jetzt deutlich besser und da keine DB darauf läuft werde ich mit der Strip Size einfach mal sehen.
