17
Kopiergeschwindigkeit ESXi 4
Es kann doch nicht sein, dass zwischen zwei Platten mit 3MB/s kopiert wird..
Hallo zusammen,
seit Jahren finde ich hier super Lösungen zu verschiedenen IT-Problemen, aber jetzt komme ich wirklich nicht weiter.
Es gibt hier ähnliche Beiträge, jedoch beziehen sie sich aufs Kopieren im Netz - nicht lokal. Mein Anliegen habe ich noch niergendwo gefunden..
Zuerst Eckdaten des Servers:
Board: TYAN i5400PW, 2x Intel Xeon 5400 a 4x2,6 GHz, 32GB RAM (habe die genauen Daten aktuell nicht - ist aber ein guter^^).
Festplatten: 4x500GB SATA im RAID 5 für die laufenden VM's - 1x1TB für das boot-Image und Zwischenlager für die VM-Images.
Das Problem:
Wenn ich vom RAID-Verbund auf die 1TB-Platte kopiere, fließen die Daten mit ca 25-30MB/s - was ja schon sehr langsam ist, aber damit kann ich noch leben,
denn:
Wenn ich von der 1TB-Platte auf den RAID kopiere geht es mit 3 - und zwischendurch 9MB/s .
Die Images, die ich kopiere sind ca. 50GB-Groß und die Geschwindigkeit ist ein einziger Trauerfall.
Das RAID-Array zeigte sonst gute Werte - es mag einwenig bremsen, aber nicht so extrem.
Kopiervorgänge führe ich noch über den VSphere-Client oder das VeeamBackupSCP-Tool aus.
Das vmware-backup-script habe ich noch nicht probiert.
Es ist ESXi4 + update 1 installiert - kein vCenter.
Woher könnte diese Bremse stammen? In der Konfiguration sehe ich keine Schalter, die dafür relevant wären. Der ESXi ist recht neu für mich - evtl. habe ich etwas übersehen.
Wenn ich einen lokalen Kopiervorgang im Client starte, dann spielt er sich doch lokal ab, oder? Also nicht über den client und zurück zum Server? (blöde Frage, aber die Verzweiflung ist so groß
)
Viele Grüße & Dank im Voraus
Mark
seit Jahren finde ich hier super Lösungen zu verschiedenen IT-Problemen, aber jetzt komme ich wirklich nicht weiter.
Es gibt hier ähnliche Beiträge, jedoch beziehen sie sich aufs Kopieren im Netz - nicht lokal. Mein Anliegen habe ich noch niergendwo gefunden..
Zuerst Eckdaten des Servers:
Board: TYAN i5400PW, 2x Intel Xeon 5400 a 4x2,6 GHz, 32GB RAM (habe die genauen Daten aktuell nicht - ist aber ein guter^^).
Festplatten: 4x500GB SATA im RAID 5 für die laufenden VM's - 1x1TB für das boot-Image und Zwischenlager für die VM-Images.
Das Problem:
Wenn ich vom RAID-Verbund auf die 1TB-Platte kopiere, fließen die Daten mit ca 25-30MB/s - was ja schon sehr langsam ist, aber damit kann ich noch leben,
denn:
Wenn ich von der 1TB-Platte auf den RAID kopiere geht es mit 3 - und zwischendurch 9MB/s .
Die Images, die ich kopiere sind ca. 50GB-Groß und die Geschwindigkeit ist ein einziger Trauerfall.
Das RAID-Array zeigte sonst gute Werte - es mag einwenig bremsen, aber nicht so extrem.
Kopiervorgänge führe ich noch über den VSphere-Client oder das VeeamBackupSCP-Tool aus.
Das vmware-backup-script habe ich noch nicht probiert.
Es ist ESXi4 + update 1 installiert - kein vCenter.
Woher könnte diese Bremse stammen? In der Konfiguration sehe ich keine Schalter, die dafür relevant wären. Der ESXi ist recht neu für mich - evtl. habe ich etwas übersehen.
Wenn ich einen lokalen Kopiervorgang im Client starte, dann spielt er sich doch lokal ab, oder? Also nicht über den client und zurück zum Server? (blöde Frage, aber die Verzweiflung ist so groß
)Viele Grüße & Dank im Voraus
Mark
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 133542
Url: https://administrator.de/contentid/133542
Printed on: April 19, 2024 at 00:04 o'clock
17 Comments
Latest comment
Moin Mark,
spontan würe ich sagen dein Raid5 bzw. die Partitionen darauf (sowie das vmfs) leiden an "disc alignment", aber das ist nur eine wilde Vermutung. Hast du die Partitionen auf dem Raid "aligned" angelegt ?
Gruß
Dirk
spontan würe ich sagen dein Raid5 bzw. die Partitionen darauf (sowie das vmfs) leiden an "disc alignment", aber das ist nur eine wilde Vermutung. Hast du die Partitionen auf dem Raid "aligned" angelegt ?
Gruß
Dirk
Danke für die schnelle Antwort!
musste es erstmal nachgoogeln was du meinst
Also die 1TB-Platte ist als ganzes formatiert - d.h. ESXi-CD rein, nach std.-Vorgaben formatiert (ich glaube da gab es auch keine Optionen dazu) und den Rest als Datenspeicher eingebunden. Das RAID-Array auch einfach als ganzes als Datasore aus den Optionen des VSphereCleint eingebunden.
Das VMFS scheint ja sowieso etwas langsamer zu sein.
musste es erstmal nachgoogeln was du meinst
Also die 1TB-Platte ist als ganzes formatiert - d.h. ESXi-CD rein, nach std.-Vorgaben formatiert (ich glaube da gab es auch keine Optionen dazu) und den Rest als Datenspeicher eingebunden. Das RAID-Array auch einfach als ganzes als Datasore aus den Optionen des VSphereCleint eingebunden.
Das VMFS scheint ja sowieso etwas langsamer zu sein.
Hallo,
es ist aus meiner Sicht nicht so sehr eine Frage der CPU, als eine Frage des RAID-Controllers. Ich habe bislang bei Schreiben auf RAID5 Arrays nie sonderlich gute Werte erhalten. Egal ob große oder kleine Dateien. Das Ausrechnen der XOR-Information im Controller macht eine Menge Arbeit. Do sollte man einen Controller mit extra Prozessor und einer Menge Cache-Speicher auf dem Controller haben. Sonst wird das sehr langsam.
Dann irritiert mich, dass Du 4 Platten in ein RAID5 eingebunden hast. Das geht zwar theoretisch (und praktisch) aber eleganter wären auf Grund der Architektur 3 Platten. Sonst rechnet der Controller noch mehr rum. Da Du aber vier Platten hast, würde sich ein RAID10 oder 0+1 (also ein gespiegelter Stripe oder ein Stripe gespiegelter Platten) viel besser eignen. Da verliert man nichts mit XOR-Rechnerei und man kann 4fach so schnell lesen und doppelt so schnell schreiben, wie auf eine einzelne Platte. Wenn Du mit 1TB netto zufrieden bist (das SPiegeln frisst die Hälfte), dann wäre das meine Lösung. Ich bin jedenfalls immer sehr gut damit gefahren.
Ach ja - bei dem ESXi handelt es sich um virtuelle Server? Gehe ich da richtig? Ich habe da keine wirkliche Erfahrung mit. Ich habe mir sagen lassen, dass die Virtualisierung jeden Plattenzugriff extrem verlangsamt, da ja dieser virtuelle Layer dazwischen ist und das Betriebssystem keine echten Interrupts zum Plattenzugriff machen kann sondern alles durch den Virtualisierungslayer muss.
Gruß
Horst
Edit: letzten Absatz hinzugefügt
es ist aus meiner Sicht nicht so sehr eine Frage der CPU, als eine Frage des RAID-Controllers. Ich habe bislang bei Schreiben auf RAID5 Arrays nie sonderlich gute Werte erhalten. Egal ob große oder kleine Dateien. Das Ausrechnen der XOR-Information im Controller macht eine Menge Arbeit. Do sollte man einen Controller mit extra Prozessor und einer Menge Cache-Speicher auf dem Controller haben. Sonst wird das sehr langsam.
Dann irritiert mich, dass Du 4 Platten in ein RAID5 eingebunden hast. Das geht zwar theoretisch (und praktisch) aber eleganter wären auf Grund der Architektur 3 Platten. Sonst rechnet der Controller noch mehr rum. Da Du aber vier Platten hast, würde sich ein RAID10 oder 0+1 (also ein gespiegelter Stripe oder ein Stripe gespiegelter Platten) viel besser eignen. Da verliert man nichts mit XOR-Rechnerei und man kann 4fach so schnell lesen und doppelt so schnell schreiben, wie auf eine einzelne Platte. Wenn Du mit 1TB netto zufrieden bist (das SPiegeln frisst die Hälfte), dann wäre das meine Lösung. Ich bin jedenfalls immer sehr gut damit gefahren.
Ach ja - bei dem ESXi handelt es sich um virtuelle Server? Gehe ich da richtig? Ich habe da keine wirkliche Erfahrung mit. Ich habe mir sagen lassen, dass die Virtualisierung jeden Plattenzugriff extrem verlangsamt, da ja dieser virtuelle Layer dazwischen ist und das Betriebssystem keine echten Interrupts zum Plattenzugriff machen kann sondern alles durch den Virtualisierungslayer muss.
Gruß
Horst
Edit: letzten Absatz hinzugefügt
Im Prinzip stimme ich zu, nur das virtualisierung den Plattenzugriff extrem verlangsamt ist ein Gerücht, was nicht stimmt. Raid 10 ist auf jeden Fall eine bessere Wahl als Raid5
Ja - dann hast du auch das alignment Problem - das könnte dir den Plattenzugriff verlangsamen.
Was für einen Controler hast du denn drin und wieviel Arbeitspeicher und Cache hat dieser ?
Was für einen Controler hast du denn drin und wieviel Arbeitspeicher und Cache hat dieser ?
Olá markNRW
Die Geschwindigkeit ist wohl so "Ok".
Im Vmware Forum gibts dazu genug Threats.
Ich hatte bis vor einer Weile nur 3MB/s danach kam ein Patch für den ESXi 4 der die Geschwindigkeit auf sagenhaft 11MB/s gehoben hat...
Das ist wohl ein internes ESXi Problem und soll bei dem 3.5er auch schon so gewesen sein.
Die Geschwindigkeit ist wohl so "Ok".
Im Vmware Forum gibts dazu genug Threats.
Ich hatte bis vor einer Weile nur 3MB/s danach kam ein Patch für den ESXi 4 der die Geschwindigkeit auf sagenhaft 11MB/s gehoben hat...
Das ist wohl ein internes ESXi Problem und soll bei dem 3.5er auch schon so gewesen sein.
@gruedld
Wenn ich mir die Antwort von photographix durchlese, dann kann an dem Gerücht doch schon etwas dran sein. Ich habe auf meinem Server Datenbanken laufen, die mehrere 100 I/Os pro Sekunde zu Spitzenzeiten liefern müssen. Da ist man dann froh, wenn man Direct Attached Storage (DAS) ohne x Betriebssystem- oder Protokolllayer dazwischen hat. Meine Server (beide mit internen Platten) liefert bei Kopiervorgängen über ein Gigabitnetzwerk zwischen 26 und 45 MB/s sustained. Das nenne ich Geschwindigkeit. Mit 3 bis 11 MB/s wären meine User nie zufrieden.
Gruß
Horst
Wenn ich mir die Antwort von photographix durchlese, dann kann an dem Gerücht doch schon etwas dran sein. Ich habe auf meinem Server Datenbanken laufen, die mehrere 100 I/Os pro Sekunde zu Spitzenzeiten liefern müssen. Da ist man dann froh, wenn man Direct Attached Storage (DAS) ohne x Betriebssystem- oder Protokolllayer dazwischen hat. Meine Server (beide mit internen Platten) liefert bei Kopiervorgängen über ein Gigabitnetzwerk zwischen 26 und 45 MB/s sustained. Das nenne ich Geschwindigkeit. Mit 3 bis 11 MB/s wären meine User nie zufrieden.
Gruß
Horst
Olá noch mal
es geht hier nicht um die Performance der Platten einer VM oder einer VM ins Netzwerk.
Die Geschwindigkeit ist nur so langsam beim Kopieren der VM als Container oder beim moven zu einem anderen Datastore.
Also eher ein ESXi Verwaltungsproblem und keines der VM's (der Systeme in den VM's).
Meine VMs bringen als VM genug Leistung.
Wir virtualisieren SAP für 200 Mitarbeiter da habe ich kein Performance Probleme. Nur kopieren sollte ich die 80GB VM nicht
es geht hier nicht um die Performance der Platten einer VM oder einer VM ins Netzwerk.
Die Geschwindigkeit ist nur so langsam beim Kopieren der VM als Container oder beim moven zu einem anderen Datastore.
Also eher ein ESXi Verwaltungsproblem und keines der VM's (der Systeme in den VM's).
Meine VMs bringen als VM genug Leistung.
Wir virtualisieren SAP für 200 Mitarbeiter da habe ich kein Performance Probleme. Nur kopieren sollte ich die 80GB VM nicht
Danke, wieder was gelernt.
Gruß
Horst
Gruß
Horst
Hallo wieder,
ja, der Verbund ist so nicht optimal. Ich muss dazu sagen, dass ich auf dem ESXi 4.0 - also noch vor dem ersten Update zwei der Platten im RAID-0 hatte. Ich weiss es nicht mehr welche Werte ich mit der Platte hatte, aber es war viel schneller. Leider ist der Server nach einiger Zeit fast jede Woche komplett eingefroren und musste neugestartet werden. ich glaube nach dem Update kam es auch vor.
Ja, das mit den 4 Platten hat mich auch einwenig gewundert - im ConrollerSetup stand auch, dass er eine ungerade Anzahl an Platten haben will, jedoch wurden dann alle 4 eingebunden.
Es handelt sich um folgenden Controller (Auszug aus dem manual: http://www.tyan.com/manuals/m_S5397_v1_3.pdf ) :
Integrated SATA II/SAS
• Six (6) SATA2 ports from Intel ESB2
- Integrated RAID 0, 1, 5, and 10
support under windows
• LSI 1068E SAS controller with PCIE
x8 interface (S5397WAG2NRF
only)
- Two (2) mini SAS (4 in 1)
connectors
- RAID 0, 1 and 1E support
Bedeutet das, dass ich die RAID-10 Funktion nur in einem Win aktivieren kann? (kann doch nicht sein)
Ich würde ja gern mit RAID-0 weitermachen, sogar alle 4 Platten einbinden, da der Backupstand es zulässt und im Falle eines Plattenschadens (wie oft kommt sowas schon vor...) für wichtige VMs ein anderer ESXi zur Verfügung steht. Alledings waren da die o.g. Abstürze - ohne Einträge in den logs und solch häufige Ausfälle kann ich mir nicht leisten. Ich meine damit nicht, dass die Abstürze durch Plattenfehler verursacht wurden - kA was es war. Daher hatte ich den RAID-0 aufgelöst.
Momentan lade ich zB mit 8MB/s eine 50gb-image übers Netz - wow, kann ja schon gefeiert werden! Ne, so kann das nicht weitergehen/
Übrigens, habe ich das richtig verstanden, dass einige Backupprogramme wie das BackupSCP von Veeam aus thin-Disks - die vmdks in voller Größe (Nennwert) erstellt? Habe bemerkt, dass es der VSphereClient auch macht, sobald das Zielverzeichnis nicht auf der gleichen Platte liegt wie die zu kopierende Datei. Werde ich das Problem mit dem vmware-BackupScript auch haben -also beim Kopieren übers Netz zB?
Ich bin auch inzwischen überzeugt, dass der aktuelle Verbund zu dem Geschwindigkeitsverlust entscheidend beiträgt - den habe ich auch erwartet, aber nicht solche Werte. Der Betrieb der VMs ist recht unbeschwert muss ich dazu sagen. Es fällt nur beim Kopieren auf.
ja, der Verbund ist so nicht optimal. Ich muss dazu sagen, dass ich auf dem ESXi 4.0 - also noch vor dem ersten Update zwei der Platten im RAID-0 hatte. Ich weiss es nicht mehr welche Werte ich mit der Platte hatte, aber es war viel schneller. Leider ist der Server nach einiger Zeit fast jede Woche komplett eingefroren und musste neugestartet werden. ich glaube nach dem Update kam es auch vor.
Ja, das mit den 4 Platten hat mich auch einwenig gewundert - im ConrollerSetup stand auch, dass er eine ungerade Anzahl an Platten haben will, jedoch wurden dann alle 4 eingebunden.
Es handelt sich um folgenden Controller (Auszug aus dem manual: http://www.tyan.com/manuals/m_S5397_v1_3.pdf ) :
Integrated SATA II/SAS
• Six (6) SATA2 ports from Intel ESB2
- Integrated RAID 0, 1, 5, and 10
support under windows
• LSI 1068E SAS controller with PCIE
x8 interface (S5397WAG2NRF
only)
- Two (2) mini SAS (4 in 1)
connectors
- RAID 0, 1 and 1E support
Bedeutet das, dass ich die RAID-10 Funktion nur in einem Win aktivieren kann? (kann doch nicht sein)
Ich würde ja gern mit RAID-0 weitermachen, sogar alle 4 Platten einbinden, da der Backupstand es zulässt und im Falle eines Plattenschadens (wie oft kommt sowas schon vor...) für wichtige VMs ein anderer ESXi zur Verfügung steht. Alledings waren da die o.g. Abstürze - ohne Einträge in den logs und solch häufige Ausfälle kann ich mir nicht leisten. Ich meine damit nicht, dass die Abstürze durch Plattenfehler verursacht wurden - kA was es war. Daher hatte ich den RAID-0 aufgelöst.
Momentan lade ich zB mit 8MB/s eine 50gb-image übers Netz - wow, kann ja schon gefeiert werden! Ne, so kann das nicht weitergehen
/Übrigens, habe ich das richtig verstanden, dass einige Backupprogramme wie das BackupSCP von Veeam aus thin-Disks - die vmdks in voller Größe (Nennwert) erstellt? Habe bemerkt, dass es der VSphereClient auch macht, sobald das Zielverzeichnis nicht auf der gleichen Platte liegt wie die zu kopierende Datei. Werde ich das Problem mit dem vmware-BackupScript auch haben -also beim Kopieren übers Netz zB?
Ich bin auch inzwischen überzeugt, dass der aktuelle Verbund zu dem Geschwindigkeitsverlust entscheidend beiträgt - den habe ich auch erwartet, aber nicht solche Werte. Der Betrieb der VMs ist recht unbeschwert muss ich dazu sagen. Es fällt nur beim Kopieren auf.
Hallo,
ich habe in meinem Server auch einen LSI-SAS-Controller. Allerdings den LSI 1078 (als PIKE Board). Für den gibt es für so ziemlich alle Systeme Treiber. RAID 5 geht natürlich auch mit mehr Platten als mit 3. Dann werden die einzelnen Blöcke revolvierend auf die ganzen Platten geschrieben.
Vorsicht! Raid 0 ist der Stripesatz. Du hast 0 Sicherheit. Raid 1 ist der Spiegelsatz. Raid 10 ist ein Spiegel aus zwei Stripesätzen.
Wenn es um Hochverfügbarkeit geht, dann ist RAID5 nicht die allererste Wahl. Dir kann eine Platte ausfallen. Das wars. Fällt Dir mehr aus, bist Du tot. Bei RAID 10 kann Dir mehr als eine Platte ausfallen und Du lebst weiter. Wenn die richtigen zwei ausfallen, dann bist Du natürlich auch tot. Aber wenn Dir die diagonal gegenüberliegende Platte aus dem Spiegel ausfällt oder die zweite Platte aus dem Stripe, dann lebst Du weiter. Damit gewinnst Du noch deutlich an Sicherheit.
Es macht sowohl bei RAID5 als auch bei RAID10 Sinn, sich ein Hotspare zuzulegen. Diese Platte übernimmt dann automatisch, wenn eine andere ausfällt. Platten kosten ja nix mehr. Wenn Du Platz in Deinem Server hast, würde ich auf jeden Fall so eine anschaffen.
Gruß
Horst
ich habe in meinem Server auch einen LSI-SAS-Controller. Allerdings den LSI 1078 (als PIKE Board). Für den gibt es für so ziemlich alle Systeme Treiber. RAID 5 geht natürlich auch mit mehr Platten als mit 3. Dann werden die einzelnen Blöcke revolvierend auf die ganzen Platten geschrieben.
Vorsicht! Raid 0 ist der Stripesatz. Du hast 0 Sicherheit. Raid 1 ist der Spiegelsatz. Raid 10 ist ein Spiegel aus zwei Stripesätzen.
Wenn es um Hochverfügbarkeit geht, dann ist RAID5 nicht die allererste Wahl. Dir kann eine Platte ausfallen. Das wars. Fällt Dir mehr aus, bist Du tot. Bei RAID 10 kann Dir mehr als eine Platte ausfallen und Du lebst weiter. Wenn die richtigen zwei ausfallen, dann bist Du natürlich auch tot. Aber wenn Dir die diagonal gegenüberliegende Platte aus dem Spiegel ausfällt oder die zweite Platte aus dem Stripe, dann lebst Du weiter. Damit gewinnst Du noch deutlich an Sicherheit.
Es macht sowohl bei RAID5 als auch bei RAID10 Sinn, sich ein Hotspare zuzulegen. Diese Platte übernimmt dann automatisch, wenn eine andere ausfällt. Platten kosten ja nix mehr. Wenn Du Platz in Deinem Server hast, würde ich auf jeden Fall so eine anschaffen.
Gruß
Horst
Hallo Horst,
danke für die Antwort, aber was RAID-0 ist, ist mir bewusst. Wie gesagt - aufgrund von Backupständen und Wiederherstellungsoption am anderen ESXi, könnte ich mir sowas leisten - die VMs sind zwar im produktiven Einsatz, aber ein Stündchen Ausfall wär nicht schlimm - keiner wär "tot"
).
Nur ständige Ausfälle oder ständig solche Kopiergeschwindigkeiten - die ist eine große Last.
Hotspare wär toll - im Falle eines R-10, würde ich welche direkt mit einbauen..
Also ich konnte im Contoller-Setup keine 10-er-Option finden. Ich habe zwar zwei 0-er erzeugen können, aber weiter ging es nicht (ich dachte evtl will er erst die beiden 0-er, um sie dann zu binden).
Habe ich da etwas übersehen?
Um nochmal zum Kern des Problems zurückzukomen: Abgesehen von der Plattenkonfiguration, was KÖNNTE ihn noch abbremsen? Ich kann den Server nicht lange als Baustelle halten - Umbauten müssen schnell gehen. Den RAID werde ich umstellen müssen - klar. Kann ich noch etwas am ESXi optimieren oder anpassen, um solche Raten zu vermeiden?
Und nochmal (*push*) :
"Übrigens, habe ich das richtig verstanden, dass einige Backupprogramme wie das BackupSCP von Veeam aus thin-Disks - die vmdks in voller Größe (Nennwert) erstellt? Habe bemerkt, dass es der VSphereClient auch macht, sobald das Zielverzeichnis nicht auf der gleichen Platte liegt wie die zu kopierende Datei. Werde ich das Problem mit dem vmware-BackupScript auch haben -also beim Kopieren übers Netz zB?"
danke für die Antwort, aber was RAID-0 ist, ist mir bewusst. Wie gesagt - aufgrund von Backupständen und Wiederherstellungsoption am anderen ESXi, könnte ich mir sowas leisten - die VMs sind zwar im produktiven Einsatz, aber ein Stündchen Ausfall wär nicht schlimm - keiner wär "tot"
).Nur ständige Ausfälle oder ständig solche Kopiergeschwindigkeiten - die ist eine große Last.
Hotspare wär toll - im Falle eines R-10, würde ich welche direkt mit einbauen..
Also ich konnte im Contoller-Setup keine 10-er-Option finden. Ich habe zwar zwei 0-er erzeugen können, aber weiter ging es nicht (ich dachte evtl will er erst die beiden 0-er, um sie dann zu binden).
Habe ich da etwas übersehen?
Um nochmal zum Kern des Problems zurückzukomen: Abgesehen von der Plattenkonfiguration, was KÖNNTE ihn noch abbremsen? Ich kann den Server nicht lange als Baustelle halten - Umbauten müssen schnell gehen. Den RAID werde ich umstellen müssen - klar. Kann ich noch etwas am ESXi optimieren oder anpassen, um solche Raten zu vermeiden?
Und nochmal (*push*) :
"Übrigens, habe ich das richtig verstanden, dass einige Backupprogramme wie das BackupSCP von Veeam aus thin-Disks - die vmdks in voller Größe (Nennwert) erstellt? Habe bemerkt, dass es der VSphereClient auch macht, sobald das Zielverzeichnis nicht auf der gleichen Platte liegt wie die zu kopierende Datei. Werde ich das Problem mit dem vmware-BackupScript auch haben -also beim Kopieren übers Netz zB?"
Hallo,
ich habe im Moment keine RAID10 im Einsatz. Da ich auf SSD-Platten umgestellt habe, reicht mir RAID1. Es gibt je nach Controllerhersteller zwei verschiedene Ansätze. Manche spiegeln zwei RAID0-Arrays und andere machen aus zwei RAID1 einen Stripesatz. Adaptec war da glaube ich anders. Die Doku müsste es eigentlich hergeben.
Der LSI 1068er Controller hat meines Wissens keinen Cache. Ich kann mich aber irren. Falls es einen Cache gibt, kann man ihn auf Write Back (statt Write Thru) stellen. Das sollte die Sache beschleunigen. Aber dann sollte man die Batterieoption haben und den Server hinter eine USV betreiben. Sonst kann es beim Stromausfall ins Auge gehen. Dann gibt es noch eine Look Ahead Einstellung, die das Lesen von der Platte deutlich beschleunigen kann.
Über diese ganze VIrtualisierung weiß ich nichts.
Gruß
Horst
ich habe im Moment keine RAID10 im Einsatz. Da ich auf SSD-Platten umgestellt habe, reicht mir RAID1. Es gibt je nach Controllerhersteller zwei verschiedene Ansätze. Manche spiegeln zwei RAID0-Arrays und andere machen aus zwei RAID1 einen Stripesatz. Adaptec war da glaube ich anders. Die Doku müsste es eigentlich hergeben.
Der LSI 1068er Controller hat meines Wissens keinen Cache. Ich kann mich aber irren. Falls es einen Cache gibt, kann man ihn auf Write Back (statt Write Thru) stellen. Das sollte die Sache beschleunigen. Aber dann sollte man die Batterieoption haben und den Server hinter eine USV betreiben. Sonst kann es beim Stromausfall ins Auge gehen. Dann gibt es noch eine Look Ahead Einstellung, die das Lesen von der Platte deutlich beschleunigen kann.
Über diese ganze VIrtualisierung weiß ich nichts.
Gruß
Horst
Hallo nochmal,
hab das hier nicht vergessen, aber es hat sich nicht viel geändert. Der ganze RAID-Umbau steht noch an, daher lebt das hier noch. Wenn es Verbesserungen gibt, werde ich es aktualisieren..
Zwischen ESXi und einer Win-Freigabe, über Gbit, kriecht immernoch alles mit 3-4MB/s.
Derzeit wird iSCSI Storage gebraucht.
Was glaubt ihr?:
Wir groß ist der Performance-Unterschied zwischen einem
solchen Fertigteil:
http://www.google.de/products/catalog?q=iscsi+storage&oe=utf-8& ...
und einer Linux-Kiste mit Platten im RAID, iscsi-target Paketen und einer passenden Karte?
Viele Grüße & Dank!
hab das hier nicht vergessen, aber es hat sich nicht viel geändert. Der ganze RAID-Umbau steht noch an, daher lebt das hier noch. Wenn es Verbesserungen gibt, werde ich es aktualisieren..
Zwischen ESXi und einer Win-Freigabe, über Gbit, kriecht immernoch alles mit 3-4MB/s.
Derzeit wird iSCSI Storage gebraucht.
Was glaubt ihr?:
Wir groß ist der Performance-Unterschied zwischen einem
solchen Fertigteil:
http://www.google.de/products/catalog?q=iscsi+storage&oe=utf-8& ...
und einer Linux-Kiste mit Platten im RAID, iscsi-target Paketen und einer passenden Karte?
Viele Grüße & Dank!
Hallo mal wieder,
die kostenlose Lizenz ist es, die hier abbremst, richtig?
die kostenlose Lizenz ist es, die hier abbremst, richtig?
Moin,
schwer zu sagen, ich glaube aber nicht, das es an der Lizenz liegt.
An meinem ESXi4 mit SAS Festplatten im RAID10 habe ich mit Veem Backup zwischen 23 und 27MB/s.
Die Daten werden auf einen eher langsamen SATA Speicher geschrieben. Mit der Performance bin ich einigermassen zufrieden.
Gruß
dg
schwer zu sagen, ich glaube aber nicht, das es an der Lizenz liegt.
An meinem ESXi4 mit SAS Festplatten im RAID10 habe ich mit Veem Backup zwischen 23 und 27MB/s.
Die Daten werden auf einen eher langsamen SATA Speicher geschrieben. Mit der Performance bin ich einigermassen zufrieden.
Gruß
dg
Zitat von @markNRW:
Hallo wieder,
ja, der Verbund ist so nicht optimal. Ich muss dazu sagen, dass ich auf dem ESXi 4.0 - also noch vor dem ersten Update zwei der
Platten im RAID-0 hatte. Ich weiss es nicht mehr welche Werte ich mit der Platte hatte, aber es war viel schneller. Leider ist der
Server nach einiger Zeit fast jede Woche komplett eingefroren und musste neugestartet werden. ich glaube nach dem Update kam es
auch vor.
Ja, das mit den 4 Platten hat mich auch einwenig gewundert - im ConrollerSetup stand auch, dass er eine ungerade Anzahl an Platten
haben will, jedoch wurden dann alle 4 eingebunden.
Es handelt sich um folgenden Controller (Auszug aus dem manual: http://www.tyan.com/manuals/m_S5397_v1_3.pdf ) :
Integrated SATA II/SAS
• Six (6) SATA2 ports from Intel ESB2
- Integrated RAID 0, 1, 5, and 10
support under windows
• LSI 1068E SAS controller with PCIE
x8 interface (S5397WAG2NRF
only)
- Two (2) mini SAS (4 in 1)
connectors
- RAID 0, 1 and 1E support
Bedeutet das, dass ich die RAID-10 Funktion nur in einem Win aktivieren kann? (kann doch nicht sein)
[...]Hallo wieder,
ja, der Verbund ist so nicht optimal. Ich muss dazu sagen, dass ich auf dem ESXi 4.0 - also noch vor dem ersten Update zwei der
Platten im RAID-0 hatte. Ich weiss es nicht mehr welche Werte ich mit der Platte hatte, aber es war viel schneller. Leider ist der
Server nach einiger Zeit fast jede Woche komplett eingefroren und musste neugestartet werden. ich glaube nach dem Update kam es
auch vor.
Ja, das mit den 4 Platten hat mich auch einwenig gewundert - im ConrollerSetup stand auch, dass er eine ungerade Anzahl an Platten
haben will, jedoch wurden dann alle 4 eingebunden.
Es handelt sich um folgenden Controller (Auszug aus dem manual: http://www.tyan.com/manuals/m_S5397_v1_3.pdf ) :
Integrated SATA II/SAS
• Six (6) SATA2 ports from Intel ESB2
- Integrated RAID 0, 1, 5, and 10
support under windows
• LSI 1068E SAS controller with PCIE
x8 interface (S5397WAG2NRF
only)
- Two (2) mini SAS (4 in 1)
connectors
- RAID 0, 1 and 1E support
Bedeutet das, dass ich die RAID-10 Funktion nur in einem Win aktivieren kann? (kann doch nicht sein)
Ich bin auch inzwischen überzeugt, dass der aktuelle Verbund zu dem Geschwindigkeitsverlust entscheidend beiträgt - den
habe ich auch erwartet, aber nicht solche Werte. Der Betrieb der VMs ist recht unbeschwert muss ich dazu sagen. Es fällt nur
beim Kopieren auf.
Meiner persönlichen Meinung nach liegt es 100% am Controller. Diese begründe ich auch gerne sehr ausführlich:
Ich besitze ein ASUS KFSN4-DRE/SAS (onboard LSI 1064E mit 4 SAS-Ports). Aktuelle Bestückung: 2x Opteron 8214 2.2 GHz und 16gb DDR2-5300P-555-12 Speicher
[eigentlich unwichtiges BlaBla]
Ich hatte zunächst eine vorhandene ESXi 4.0 Installation von einer unserer PowerEdges (Dell PE 860, Pentium D 3.0 GHz, einfache 250gb SATA-Platte) genommen [100%ig funktionierendes Testsystem] und testweise sowohl an einen der SATA-Ports als auch an einen der SAS-Ports angeschlossen (aber ohne RAID-Konfiguration... eine Platte halt), um das Board zu testen. Jene Version stürzte dabei stets beim Booten ab (General Exception #13 beim Laden des Schedulers/Timers).
Ich habe dann, einige Zeit später, mal ESXi 4.1U1 (wenige Tage nach erscheinen) "frisch" auf dem ASUS Board installiert. Problemlos... *freu* *freu* *freu* Freude deshalb, weil ich somit einen (privaten) ESXi-kompatiblen Bastelrechner habe.
Mangels Zeit etc. kam es dann aber vorerst nicht zum ESX-Einsatz. Statt dessen wollte ich das System dann im Rahmen einer Hostmigration vorübergehend als iSCSI-SAN betreiben, um einen vorhandenen ESXi4-Host freischaufeln, damit wir an dessen Hardware basteln können; der "neue" Host, der dessen VMs übernehmen soll, ist vorhanden, hat aber unzureichend Plattenkapazität (was einer der Beweggründe für die SAN-Variante ist).
[/BlaBla]
Also 4x 500gb WD Caviar Blue an den LSI 1064E angeschlossen und zu einem 930gb großen RAID 1E konfiguriert. RAID 1E ist sowas wie RAID 10, nur mit einer etwas anderen Verteilung der Daten auf die einzelnen Platten. RAID 10 bietet das Controller-BIOS leider nicht an, daher blieb nur 1E. Theoretisch genauso schnell wie RAID 10 - in der Theorie und mit einem richtigen Controller.
Debian Squeeze (6.0) 64bit installiert, per dd ein paar erfreuliche Lesetests durchgeführt (dd if=/dev/sda of=/dev/null bs=1M count=... lieferte über 150MB/s, sequentielles Lesen...). Als nächstes die komplette iSCSI-Konfiguration vorgenommen (um genau zu sein: heartbeat, drbd, lvm, iscsitarget), eine LUN erzeugt, in den "neuen" ESXi 4.1U1 Host eingebunden (hätte genausogut die Test-Poweredge mit ESXi 4.0 nehmen können), und dann das erste böse Erwachen:
Das Kopieren einer 32gb VM vom DAS des Hosts auf die iSCSI LUN (die, zur Erinnerung, auf dem LSI 1064E lag, im RAID 1E) dauerte ewig. Habe es über Nacht laufen lassen, wollte eigentlich abends noch testen... Die VM selbst ist eine Test-VM, wo ich u.a. einen SQLServer und natürlich IOMeter zur Verfügung habe.
Iometer mit meinem Standard-Test gestartet: 2 Worker, 8k, 100% Write, 100% random, 5 Minuten. Bescheidene ~20 IOPs (18,64 IOPs, um genau zu sein). Der lokale Storage des Hosts erreicht ~150 IOPs (146,8 IOPs ; HP Smart Array P400, 2x 72gb 10k SAS im RAID 1), eine einzelne SATA-Platte (wie die verwendeten WD5000AAKS) sollte ca. 70 IOPs schaffen. -- Im Lesezugriff hingegen war das RAID 1E gut: 2 Worker, 8k, 100% Read, 100% random : 180,36 IOPs
Ergo: Irgendein Problem beim Schreiben auf das RAID. *Großes Problem*, da unsere VMs laut vSphere-Client zu 95-98% schreiben und nur selten mal von den Platten lesen. <<-- Genau deshalb ist der 8k IO-Size, 100% write, 100% random Test halt mein Standard-Test !
Zurück an den Basteltisch...
Da das ASUS-Board nur einen einzigen PCIe x16 Slot hat, und ich derzeit keinen Hardware-RAID-Controller mit PCIe Schnittstelle "frei" habe, musste die PowerEdge wieder herhalten. (zur Erinnerung: PE 860, Pentium D 3.0 GHz; 8gb DDR2 ECC) Weniger Speicher und nur ein "schlechter" Pentium D (2 Kerne; aber deutlich weniger performant als ein gleich schneller Core2Duo) anstelle der beiden Opteron 8214 CPUs. Aber weder Speicher noch CPU waren bei der iSCSI-Installation wirklich belastet, also kein Problem.
Die PowerEdge wurde mit (m)einem (privaten) LSI MegaRaid 300-8XLP (PCI-X 64bit, 128MB RAM, 8x SATA2 über zwei miniSAS-Anschlüsse; mit etwas Glück schon für ca. 50 Euro bei eBay) ausgestattet, daran dann 4 gleiche WD5000AAKS Platten angeschlossen, diesmal als RAID 10, natürlich ebenfalls 930gb [für Kenner: offenes Gehäuse, da in der PE860 ja nicht genug Platz ist; und zusätzliche externe Stromversorgung der Platten, da ja nur 2x SATA Strom].
Die Installation analog zur vorherigen Installation (mit dem Asus Board) wiederholt. iSCSI-SAN-Krams... per DRBD die LUN, auf der die mühselig kopierte VM lag, rüberrepliziert, und dann die PowerEdge zum aktiven SAN-Knoten gemacht und den Asus-Rechner heruntergefahren.
Die VM lief dann also ausschließlich auf der PowerEdge. Dem ESXi-Host war das egal, der hat davon nichts gemerkt.
Iometer wieder angeschmissen. Wieder mein Standard-Test (2 Worker, 8k, 100% write, 100% random, 5 Minuten). Über 250 IOPs. Krawumm...
Anschließend habe ich das Setup vereinfacht und das RAID auf 2 Platten reduziert (also einfaches RAID1). Am LSI MegaRaid 300-8XLP via iSCSI von einer VM aus immer noch 135,6 IOPs. Kopieren von Dateien im vSphere-Client (und darum ging es ja im ursprünglichen Beitrag) vom lokalen Storage des Hosts auf einen anderen Storage (hier halt die iSCSI-LUN) ging nun mit über 30 MB/s. Mit 2 Platten im RAID1, nicht mehr mit 4 Platten. Selbst innerhalb der VM waren noch sequentielle Schreibraten über 35 MB/s möglich (iometer: 1 Worker, 1M IO-Size, 100% write, 0% random : 37,3 IOPs = 37,3 MB/s).
In einem weiteren Test habe ich noch mal dem onboard LSI 1064E auf dem ASUS KFSN4-DRE/SAS eine Chance gegeben. Diesmal nur 2 Platten im RAID1.
Wieder iSCSI, wieder die selbe VM, wieder Iometer mit meinem Standard-Test. Und auch das klappte dann deutlich besser. Irgendwas zwischen 70 und 100 IOPs, habe den Wert gerade nicht griffbereit.
FAZIT
Also: Entweder vereinfachst du die RAID-Konfiguration drastisch, solange du den onboard LSI-Controller nehmen möchtest. Oder aber, was ich dir eher empfehlen würde, kauf dir einen separaten Raid Controller. Natürlich einen, der von VMWare unterstützt wird. Mit etwas Glück kann man bei eBay schon gute Schnäppchen machen, aber du kannst natürlich auch einen neuen kaufen.
Dein Mainboard hat ja sowohl PCI-X als auch PCIe, daher hast du eine gute Auswahl. Wenn das Budget ausreicht, solltest du natürlich lieber auf PCIe setzen.
Und ausserdem einen Hersteller nehmen, wo ESX auch den Status des RAIDs auslesen kann. Bei den Adaptec Controllern (z.B. 2405 -> PCIe x8, 1x miniSAS = 4 SATA-Platten) klappt das nämlich nicht, Adaptec stellt derzeit auch keine entsprechenden Tools für ESXi 4 bereit. HP Smart Array hingegen geht nach einer entsprechenden Anpassung der ESXi-Installation, die im Web gut beschrieben ist.
Noch 2 Anmerkungen:
1. Für diejenigen, die sich die Frage stellen: Es liegt nicht an der freien Lizenz. Ich habe selber nur "freie" Lizenzcodes für ESXi 4 und 4.1. Mit der richtigen Hardware stimmt halt die Performance. Wobei richtig nicht immer teuer sein muss.
2. Ja, ich weiß. Ich selber habe "nur" den 1064E, nicht den 1068E onboard. Aber ich bin zuversichtlich, dass das für besagtes Problem keinen Unterschied macht.
