21
Windows Server 2012 18 TB Partition und das Thema Fragmentierung
Hallo an alle,
in naher Zukunft wird bei uns ein Produktivsystem mit 12 TB Speicherplatz gegen einen Windows 2012 Server ersetzt.
Das Freigegebene Laufwerk wird ein RAID 5 + Hotspare mit 8 3 TB Platten werden. Wie sind eure Erfahrungen was bei solchen Größen was das Thema Fragmentierung angeht?
Was haltet ihr von ReFS im Gegensatz zu NTFS? Weiß jemand ob sich das Fragmentierungsverhalten geändert hat?
Der Server steht permanent unter einer Mindestbelastung von 60 MB/sec. über 4 Gigabit NIC´s.
Viele Grüße
Theo
in naher Zukunft wird bei uns ein Produktivsystem mit 12 TB Speicherplatz gegen einen Windows 2012 Server ersetzt.
Das Freigegebene Laufwerk wird ein RAID 5 + Hotspare mit 8 3 TB Platten werden. Wie sind eure Erfahrungen was bei solchen Größen was das Thema Fragmentierung angeht?
Was haltet ihr von ReFS im Gegensatz zu NTFS? Weiß jemand ob sich das Fragmentierungsverhalten geändert hat?
Der Server steht permanent unter einer Mindestbelastung von 60 MB/sec. über 4 Gigabit NIC´s.
Viele Grüße
Theo
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 211945
Url: https://administrator.de/contentid/211945
Printed on: April 19, 2024 at 20:04 o'clock
21 Comments
Latest comment
Moin,
die Frage ist immer was man auf den FS dann so alles treibt. Wenns nicht unbedingt sein muss würde ich allerdings keine 18TB Partition anlegen sondern eher mehrere 2-3TB Partitions. Hintergrund ist der Zeitaufwand für evtl. Fehlerbehebungen - schon mal ein chdsk über ein 18TB Filesystem gemacht?
Mit ReFS hab' ich bisher noch keine Erfahrungen.
lg,
Slainte
die Frage ist immer was man auf den FS dann so alles treibt. Wenns nicht unbedingt sein muss würde ich allerdings keine 18TB Partition anlegen sondern eher mehrere 2-3TB Partitions. Hintergrund ist der Zeitaufwand für evtl. Fehlerbehebungen - schon mal ein chdsk über ein 18TB Filesystem gemacht?
Mit ReFS hab' ich bisher noch keine Erfahrungen.
lg,
Slainte
Der FS stellt diese Partition bereit und synchronisiert die Daten in Echtzeit auf einen zweiten Server. Das sollt also hinhauen.
Das mit den kleineren Partitionen würde ich gern machen, das Problem ist, dass jeder Arbeitsplatz auf alle Daten zugreifen muss und jetzt im schnellen Alltag erst zu gucken in welchem verbundenen Laufwerk das Projekt liegt ist zu umständlich. Vielleicht fällt mir da noch ein System ein aber ich denke ich komme nicht um eine solche Platte herum....
lg
Theo
Das mit den kleineren Partitionen würde ich gern machen, das Problem ist, dass jeder Arbeitsplatz auf alle Daten zugreifen muss und jetzt im schnellen Alltag erst zu gucken in welchem verbundenen Laufwerk das Projekt liegt ist zu umständlich. Vielleicht fällt mir da noch ein System ein aber ich denke ich komme nicht um eine solche Platte herum....
lg
Theo
Hallo,
kleiner Tipp am Rande von Mir:
KEIN Raid5 benutzen! Erst Recht nicht bei so Dimensionen und Belastungen wie Du sie beschreibst.
Weißt Du wie lange ein Rebuild bei Raid5 dauert bei diesen Größen und der dann weiterhin auftretenden
Last von deinen 4 GBit Anbindungen? Da steigt die Gefahr immens das ggf. wärend der Rebuild Zeit noch
eine 2 Platte den Weg alles irdischen geht...
Ich empfehle Dir eher eine Raid6 Konfiguration. Kostet Dich 1 Platte mehr, bietet aber den erhöhten Ausfallschutz
von 2 Platten. Erst ab der 3. ausgefallenen Platte gehen Daten verloren.
Mfg.
kleiner Tipp am Rande von Mir:
KEIN Raid5 benutzen! Erst Recht nicht bei so Dimensionen und Belastungen wie Du sie beschreibst.
Weißt Du wie lange ein Rebuild bei Raid5 dauert bei diesen Größen und der dann weiterhin auftretenden
Last von deinen 4 GBit Anbindungen? Da steigt die Gefahr immens das ggf. wärend der Rebuild Zeit noch
eine 2 Platte den Weg alles irdischen geht...
Ich empfehle Dir eher eine Raid6 Konfiguration. Kostet Dich 1 Platte mehr, bietet aber den erhöhten Ausfallschutz
von 2 Platten. Erst ab der 3. ausgefallenen Platte gehen Daten verloren.
Mfg.
Hallo Phalanx
Ich hatte auch überlegt, ob ein RAID 6 anstelle des RAID 5 Sinn macht. Ist denn die Verteilung der Paritätsdaten über alle Platten beim RAID 6 so viel optimaler das ein Rebuild sehr viel schneller geht?
lg
Theo
Ich hatte auch überlegt, ob ein RAID 6 anstelle des RAID 5 Sinn macht. Ist denn die Verteilung der Paritätsdaten über alle Platten beim RAID 6 so viel optimaler das ein Rebuild sehr viel schneller geht?
lg
Theo
Zitat von @theoberlin:
Das mit den kleineren Partitionen würde ich gern machen, das Problem ist, dass jeder Arbeitsplatz auf alle Daten zugreifen
muss und jetzt im schnellen Alltag erst zu gucken in welchem verbundenen Laufwerk das Projekt liegt ist zu umständlich.
Vielleicht fällt mir da noch ein System ein aber ich denke ich komme nicht um eine solche Platte herum....
Das mit den kleineren Partitionen würde ich gern machen, das Problem ist, dass jeder Arbeitsplatz auf alle Daten zugreifen
muss und jetzt im schnellen Alltag erst zu gucken in welchem verbundenen Laufwerk das Projekt liegt ist zu umständlich.
Vielleicht fällt mir da noch ein System ein aber ich denke ich komme nicht um eine solche Platte herum....
Hey
sollte das mit einem Spericherpool von W2k12 nicht genau so funktionieren? "Kleine" Partitionen zu einem Pool zusammenfügen den die Nutzer dann als ein Share angezeigt bekommen.
Oder täusche ich mich jetzt?
Gruß
Kleinere Partitionen:
Du könntest die einzelnen Partitionen dann per DFS an deine Clients ausliefern, Damit würden die User die Partitionen lediglich als Unterverzeichnisse im Share wahrnemen, nicht mehr als einzelne Laufwerke.
Raid 5/6:
Die Geschwindigkeit dürfte gleich sein,
Aber das
Du könntest die einzelnen Partitionen dann per DFS an deine Clients ausliefern, Damit würden die User die Partitionen lediglich als Unterverzeichnisse im Share wahrnemen, nicht mehr als einzelne Laufwerke.
Raid 5/6:
Die Geschwindigkeit dürfte gleich sein,
Aber das
Erst ab der 3. ausgefallenen Platte gehen Daten verloren.
ist der Knackpunkt
Hi Slainte
Das Problem ist, dass die Clients hauptsächlich Mac´s sind. Also fällt DFS meines Wissens aus.
Wie ist denn bei einem reinen Fileserver der Performance Unterschied von RAID 6 zu Raid 10 bzw. Weil ich hatte mal irgendwoher, dass das doppelte schreiben der paritäten die Performance verringert. Allerdings tut bei solchen Arraygrößen 50% Kapazitätsverringerung schon weh...und es darf im ungünstigsten Fall auch nur eine Platte ausfallen....
EDIT wie steht ihr zu RAID 50 bzw. 60?
Kennt jemand einen Rechenweg um die Performance von RAID Systemen zu berechen? Mal angenommen man kennt den Plattendurchsatz und hat ein Hardware RAID Controller mit 1000MB Cache?
lg
Theo
Das Problem ist, dass die Clients hauptsächlich Mac´s sind. Also fällt DFS meines Wissens aus.
Wie ist denn bei einem reinen Fileserver der Performance Unterschied von RAID 6 zu Raid 10 bzw. Weil ich hatte mal irgendwoher, dass das doppelte schreiben der paritäten die Performance verringert. Allerdings tut bei solchen Arraygrößen 50% Kapazitätsverringerung schon weh...und es darf im ungünstigsten Fall auch nur eine Platte ausfallen....
EDIT wie steht ihr zu RAID 50 bzw. 60?
Kennt jemand einen Rechenweg um die Performance von RAID Systemen zu berechen? Mal angenommen man kennt den Plattendurchsatz und hat ein Hardware RAID Controller mit 1000MB Cache?
lg
Theo
Ich Hab mich jetzt mit dem Speicherpool nochmal genauer beschäftigt.
An sich müsste es doch eine recht optimale Lösung sein, wenn ich 2 RAID 5 Systeme á 4 Platten erzeuge und diese dann per Speicherpool zu einem Virtuellen Datenträger zusamenfasse. Das ergibt ja dann Quasi ein RAID 50 womit ich eine Hohe Lese/Schreib Performance und Sicherheit hab....Oder spricht da etwas dagegen?
lg
Theo
An sich müsste es doch eine recht optimale Lösung sein, wenn ich 2 RAID 5 Systeme á 4 Platten erzeuge und diese dann per Speicherpool zu einem Virtuellen Datenträger zusamenfasse. Das ergibt ja dann Quasi ein RAID 50 womit ich eine Hohe Lese/Schreib Performance und Sicherheit hab....Oder spricht da etwas dagegen?
lg
Theo
Bitte rechne nicht mit MB/sec als Durchsatz .. wichtig sind die IOPS (input/ouput operations per second)
Zum Thema IOPS hier ein Whitepaper: http://technikblog.extracomputer.de/wp-content/uploads/2012/09/iops_whi ...
Zum Thema IOPS hier ein Whitepaper: http://technikblog.extracomputer.de/wp-content/uploads/2012/09/iops_whi ...
1
Vielen dank für das Whitepaper Knorki. Das Hilft mir sehr!
lg
Theo
lg
Theo
Moin,
Du solltest folgendes beachten. Egal welches RAID (1, 5, 6) Du einsetzt, ein Rebuild einer 3TB-Platte dauert unter optimalen Bedingungen mindestens 8 Stunden, eher länger.
Rechenbeispiel:
Solange besteht die Gefahr, daß bei Ausfall einer weiteren Platte die Daten weg sind!
Man muß auch beachten, daß je mehr Platten benutzt werden, die Wahrscheinlichkeit, daß eine ausfällt auch größer ist, wie hier schon bestätigt wurde.
Es würde sich daher ein RAID6 mit hotspare anbieten, wenn man da auf der sicheren Seite sein will.
lks
Du solltest folgendes beachten. Egal welches RAID (1, 5, 6) Du einsetzt, ein Rebuild einer 3TB-Platte dauert unter optimalen Bedingungen mindestens 8 Stunden, eher länger.
Rechenbeispiel:
- (Dauer-) Datenübertragungsrate sei optimistisch bei 100MB/s , d. h. man braucht etwa 10 sec. für ein GB.
- Bei 3 TB = 3072GB sind das 30720 Sekunden oder ca. 8,5h, und das auch nur, wenn der Server nicht produktiv weitergenutzt wird!
Solange besteht die Gefahr, daß bei Ausfall einer weiteren Platte die Daten weg sind!
Man muß auch beachten, daß je mehr Platten benutzt werden, die Wahrscheinlichkeit, daß eine ausfällt auch größer ist, wie hier schon bestätigt wurde.
Es würde sich daher ein RAID6 mit hotspare anbieten, wenn man da auf der sicheren Seite sein will.
lks
Hi Lochkartenstanzer,
da habt ihr alle völlig Recht. Aber wisst ihr wie die Performance eines Raid 6 ist? Weil wenn ich sicher bin und dann die Daten nicht schnell genug runter bekomme bringt mir das nichts. Wobei ich vermute dass der aktuelle Server ein RAID 5 hat (is ne Art Blackbox prüfen kann Mans nicht).
LG
Theo
da habt ihr alle völlig Recht. Aber wisst ihr wie die Performance eines Raid 6 ist? Weil wenn ich sicher bin und dann die Daten nicht schnell genug runter bekomme bringt mir das nichts. Wobei ich vermute dass der aktuelle Server ein RAID 5 hat (is ne Art Blackbox prüfen kann Mans nicht).
LG
Theo
Zitat von @theoberlin:
Hi Lochkartenstanzer,
da habt ihr alle völlig Recht. Aber wisst ihr wie die Performance eines Raid 6 ist?
Hi Lochkartenstanzer,
da habt ihr alle völlig Recht. Aber wisst ihr wie die Performance eines Raid 6 ist?
Kommt auf Deinen Controller und auf die Art der Zugriffe an. beim schreiben müssen imemr 3 HDDs gleichzeitig geschrieben werden, d.h. die Schreibperformance geht auf 1/3 herunter, egal ob sequentiell oder random access.
Beim lesen können n-2 HDDs gleichzeitig, wobei 2 Prüfsummenplatte auch gelen werden müssen. damit hat man (n-2)/3--fache Lesegeschwindigkeit, in deinem Fall also doppelt so schnell.
Weil wenn ich sicher bin und dann die
Daten nicht schnell genug runter bekomme bringt mir das nichts.
Daten nicht schnell genug runter bekomme bringt mir das nichts.
Und wenn die daten irgendwannn weg sind? Was kostet das?
Was ich sagen will, Du solltest die Kosten des datenverlustes in relation zum Aufwand setzen. du must also folgende kosten erheben udn dann entsheiden, was Dich günstiger kommt:
- Datenverlust durch Ausfall von einer oder zwei Platten.
- Produktivitöätsverlust während der Recovery-Phase (eventuell restore aus dem Backup).
- Produktivitätsverlust durch "langsame" Datenanlieferung
- Kosten für passende Lösung ggf RAID0 aus lauter RAID6
Wobei ich vermute dass der aktuelle Server ein RAID 5 hat (is ne
Art Blackbox prüfen kann Mans nicht).
Art Blackbox prüfen kann Mans nicht).
Und ist der schnell genug? Wenn man die Anzahl der Platten und den Typ der Platten weiß, kann man da normalerweise recht gut "schätzen".
lks
Hi,
ja der ist schnell genug, aber nur gerade so.
Was den Datenverlust angeht gehe ich absolut konform mit dir, allerdings ist geplant, dass ein Realtime Backup parallel läuft.
Was denkst du über ein RAID 60? Das sind natürlich 50% Plattenkapazität weg. Aber ich habe auf jeden Fall eine Hohe Sicherheit mit der Performance des Striped Array.
LG
Theo
ja der ist schnell genug, aber nur gerade so.
Was den Datenverlust angeht gehe ich absolut konform mit dir, allerdings ist geplant, dass ein Realtime Backup parallel läuft.
Was denkst du über ein RAID 60? Das sind natürlich 50% Plattenkapazität weg. Aber ich habe auf jeden Fall eine Hohe Sicherheit mit der Performance des Striped Array.
LG
Theo
Zitat von @theoberlin:
Was denkst du über ein RAID 60? Das sind natürlich 50% Plattenkapazität weg. Aber ich habe auf jeden Fall eine Hohe
Sicherheit mit der Performance des Striped Array.
Was denkst du über ein RAID 60? Das sind natürlich 50% Plattenkapazität weg. Aber ich habe auf jeden Fall eine Hohe
Sicherheit mit der Performance des Striped Array.
Die Frage ist, ob Dir 12TB reichen oder ob der Grund für das Upgrade nicht die Erhöhung der Kapazität war.
Du solltest auf jeden Fall Tests fahren, um zu schauen, ob die performance Deinem Bedarf gerecht wird. dazu sind tools wie z.B. IOperf oder IOMeter ganz gut geeignet
eventuell ist es sinnvoll da noch 2 oder 4 Platten dazuzustecken, denn ein RAID 6 ist umso performanter beim Lesen, je mehr Platten vorhanden sind.
lks
Der Grund ist auch eine Erhöhung der Kapazität. Der Hauptgrund allerdings ist das der Sever derzeit eine Blackbox ist und der Hersteller keinen Support mehr anbietet.
An 2-3 Platten mehr soll es nicht scheitern. Allerdings ist Lesen und schreiben bei uns ca. 50/50.
deswegen habe ich ja auch Bedenken beim reinen Raid 6. Lesen ist da hoch aber schreiben zählt halt bei mir genauso mit.
LG
Theo
An 2-3 Platten mehr soll es nicht scheitern. Allerdings ist Lesen und schreiben bei uns ca. 50/50.
deswegen habe ich ja auch Bedenken beim reinen Raid 6. Lesen ist da hoch aber schreiben zählt halt bei mir genauso mit.
LG
Theo
Hallo,
die Performance bei Raid6 ist ähnlich die von Raid5 bei aktueller Hardware.
Vor Jahren war Raid6 merklich Langsamer als Raid5 da die Prozessoren auf den
Raid Controllern nicht so performant waren wie sie es heute sind.
Was aber immernoch stimmt ist der Write Penalty, also Einbußen beim Schreiben
auf dem Raid6 da 2 Paritätsplatten beschrieben werden müssen zu den Nutzdaten.
Bei deiner 50/50 Auslastung sollte das aber noch in Ordnung sein.
Bei Datenbank Zugriffen hast Du meist ein 30/70 Szenario: 30% Schreiben, 70% Lesen.
Im Zweifelsfall würde ich es testen bevor das System produktiv geht. IOPs am jetzigen System
messen und wieviel Mega/Gigabyte das System so schaufelt.
Dann mal ein Raid 5 im neuen System aufsetzen und dort die IOPs messen.
Gleicher Test nochmal mit Raid6, dann solltest Du wissen ob diese Konfiguration so für Dich passt.
Wenn Du noch mehr Performance brauchst als Raid5/6 dann würde sich wohl ein Raid50/60
anbieten, was ja nichts anderes ist als mehrere Raid5/6 die noch einmal mit einem Raid0 Layer
zusammengefasst werden was parallelen Zugriff auf jeweiligen darunter liegenden Raid5/6er bedeutet,
daher gesteigerte Performance gegenüber Raid5/6.
Allerdings würde ich bei einer Raid50/60er Konfiguration dann 2 Controller verwenden mit so viel Cache
Speicher wie möglich und einem guten Interconnect zwischen den Controllern.
Bei nur einem Controller wirst Du sonst mit Sicherheit das Flaschenhals Problem bekommen und dann
nützt Dir der Plattendurchsatz nichts mehr wenn am PCIe Bus nichts mehr durch kommt vom Controller her.
Mfg.
die Performance bei Raid6 ist ähnlich die von Raid5 bei aktueller Hardware.
Vor Jahren war Raid6 merklich Langsamer als Raid5 da die Prozessoren auf den
Raid Controllern nicht so performant waren wie sie es heute sind.
Was aber immernoch stimmt ist der Write Penalty, also Einbußen beim Schreiben
auf dem Raid6 da 2 Paritätsplatten beschrieben werden müssen zu den Nutzdaten.
Bei deiner 50/50 Auslastung sollte das aber noch in Ordnung sein.
Bei Datenbank Zugriffen hast Du meist ein 30/70 Szenario: 30% Schreiben, 70% Lesen.
Im Zweifelsfall würde ich es testen bevor das System produktiv geht. IOPs am jetzigen System
messen und wieviel Mega/Gigabyte das System so schaufelt.
Dann mal ein Raid 5 im neuen System aufsetzen und dort die IOPs messen.
Gleicher Test nochmal mit Raid6, dann solltest Du wissen ob diese Konfiguration so für Dich passt.
Wenn Du noch mehr Performance brauchst als Raid5/6 dann würde sich wohl ein Raid50/60
anbieten, was ja nichts anderes ist als mehrere Raid5/6 die noch einmal mit einem Raid0 Layer
zusammengefasst werden was parallelen Zugriff auf jeweiligen darunter liegenden Raid5/6er bedeutet,
daher gesteigerte Performance gegenüber Raid5/6.
Allerdings würde ich bei einer Raid50/60er Konfiguration dann 2 Controller verwenden mit so viel Cache
Speicher wie möglich und einem guten Interconnect zwischen den Controllern.
Bei nur einem Controller wirst Du sonst mit Sicherheit das Flaschenhals Problem bekommen und dann
nützt Dir der Plattendurchsatz nichts mehr wenn am PCIe Bus nichts mehr durch kommt vom Controller her.
Mfg.
Hi Phalanx,
Der Server würde im Fall von RAID 60 mit 2 8-Fach LSI Raid Adaptern mit 1GB Cache Pro Controller laufen.
Ich denke so werde ich es umsetzen.
Vielen Dank an alle soweit.
Lg
Theo
Der Server würde im Fall von RAID 60 mit 2 8-Fach LSI Raid Adaptern mit 1GB Cache Pro Controller laufen.
Ich denke so werde ich es umsetzen.
Vielen Dank an alle soweit.
Lg
Theo
Zitat von @theoberlin:
Hi Phalanx,
Der Server würde im Fall von RAID 60 mit 2 8-Fach LSI Raid Adaptern mit 1GB Cache Pro Controller laufen.
Ich denke so werde ich es umsetzen.
Vielen Dank an alle soweit.
Lg
Theo
Hi Phalanx,
Der Server würde im Fall von RAID 60 mit 2 8-Fach LSI Raid Adaptern mit 1GB Cache Pro Controller laufen.
Ich denke so werde ich es umsetzen.
Vielen Dank an alle soweit.
Lg
Theo
Good Luck & Have Fun ;)
Kannst ja mal eine Review darüber schreiben wie es läuft wenn das Ding produktiv ist.
Mfg.
Mach ich
Bis dann
Lg Theo
Bis dann
Lg Theo
So noch nen kleinen Nachtrag zum Thema Windows Server mit OSX
Ich habe heute Perfomancetests mit einem kleinen Testserver gemacht. RAID0 mit 2x 1TB Hardwarecontroller, nicht aufschreien, dass ist nur ein Testserver für Bandbreiten ;)
Ergebnis: Windows Server 2012 ist für Mac OSX Rechner schlicht nicht geeignet wenn es um hohe Datenübertragungsraten geht.
Via CIFS Protokoll angebundene Netzlaufwerke erreichen am Windowsrechner 80 MB Schreiben / 110 MB Lesen über Gigabit Single Uplink.
An einem Mac per SMB nur 20-30 MB Schreiben bzw. 50 MB Lesen.
Lösbar ist das ganze nur mit dem AFP Protokoll was nativ nicht unterstützt wird sondern nur mit 3. Anbietersoftware. Diese habe ich jetzt nicht getestet.
Also wird es jetzt ein Linux Server, mit AFP Protokoll und Up/Downstream raten von 90-112 MB/sec am GB Single Link.
Lg
Theo
Ich habe heute Perfomancetests mit einem kleinen Testserver gemacht. RAID0 mit 2x 1TB Hardwarecontroller, nicht aufschreien, dass ist nur ein Testserver für Bandbreiten ;)
Ergebnis: Windows Server 2012 ist für Mac OSX Rechner schlicht nicht geeignet wenn es um hohe Datenübertragungsraten geht.
Via CIFS Protokoll angebundene Netzlaufwerke erreichen am Windowsrechner 80 MB Schreiben / 110 MB Lesen über Gigabit Single Uplink.
An einem Mac per SMB nur 20-30 MB Schreiben bzw. 50 MB Lesen.
Lösbar ist das ganze nur mit dem AFP Protokoll was nativ nicht unterstützt wird sondern nur mit 3. Anbietersoftware. Diese habe ich jetzt nicht getestet.
Also wird es jetzt ein Linux Server, mit AFP Protokoll und Up/Downstream raten von 90-112 MB/sec am GB Single Link.
Lg
Theo
