5
RAID5 - Cache - Performance in der Praxis und in der Theorie
Hallo Forum.
Ich habe mal ein paar praktische und theoretische Fragen RAID5, Cache und Performance.
Praxis:
Ich habe hier ein DL380 G1 mit einem Smart Array 3200 (32-bit) RAID-controller, 16MB Cache.
Eine 64-bit MC5700 (so heisst sie glaubs) Gigabit-Netzwerkkarte ist auch eingebaut.
Theorie - Praxis
Der Smart Array 3200 Controller ist ein Ultra2 SCSI-Controller (theoretisch 80MB/s).
Der steckt in einem 32-bit-PCI-Bus (33MHz, theoretisch ca. 125MB/s).
Die Gigabit-Netzwerkkarte steckt in einem 64-bit-PCI-Bus (33MHz, theoretisch 250MB/s ???).
Also wäre THEORETISCH der SCSI-Controller resp. die SCSI-Schnittstelle den Flaschenhals?
Andere Frage - RAID5-Performance:
Jetzt gibt es immer wieder SCSI-to-IDE-Subsysteme bei eBay & CO.
Diese haben meistens 12 - 16 HD-Bays für Ultra ATA (133MB/s) Festplatten.
Die Anschlüsse sind entweder SCSI U160 / Ultra3SCSI (160MB/s) oder SCSI U320 (320MB/s).
Jetzt:
Gehen wir von einem "professionellen" Subsystem mit 14x Ultra ATA/133, SCSI U160 als Hostverbindung und 512MB Cache aus. Alle HD-Bays sind mit (sagen wir mal) "normalen" IDE-Festplatten (7200 RPM, normale Homeuser-Platten) gefüllt und in einem RAID5 zusammengefasst.
RAID5 soll ja beim Lesen einen Performance-Gewinn bringen, beim Schreiben kein grosses Plus haben, da immer berechnet werden muss, was auf welche Platte kommt (richtig so?).
Wie viel Performance-Gewinn beim Lesen bringt ein RAID5 durchschnittlich, wenn von einem durchschnittlichen RAID-Controller und durchschnittlichen Platten ausgegangen wird?
Bringt das RAID5 / die 14 Platten darin beim Schreiben darauf überhaupt einen merkbaren Performance-Gewinn oder nicht?
Wieder andere Frage - Cache:
Wenn ich das richtig verstehe, ist Cache ja ein schneller Zwischenspeicher ...
Gehen wir von (THEORIE:P) einem RAID-Controller mit 1000MB Cache (zum rechnen) aus, in den (um einfacher rechnen zu können:P) mit 100MB/s geschrieben und ebenso schnell davon gelesen werden kann. An diesem hängen ein paar Platten (unbedeutend was für welche und RAID-Level etc ...), auf die mit 10MB/s geschrieben und ebenso schnell davon gelesen werden kann ...
Wenn ich jetzte eine Datei (oder mehrere, egal, sagen wir mal 10GB) auf die Storage schreiben will, UND ich auch mit 100MB/s übers z.B. Netzwerk schreiben könnte (Theorie ... Konjunktiv ^^), würde er solange mit 100MB/s in den Cache schreiben und gleichzeitig mit 10MB/s weiter auf die Platten schreiben, bis der Cache voll wäre, danach würde es nur noch mit den 10MB/s weiter gehen, da die Platten nur 10MB/s aus dem Cache nehmen und somit auch nur so viel wieder reingeschrieben werden kann ...
Rechnen:
Cache = 1'000MB
Datei(en) = 10'000MB
Schreiben in den Cache = 100MB/s
Schreiben aus dem Cache auf die Platten = 10MB/s
--> Inhaltszunahem des Caches pro Sekunde: 100MB/s - 10MB/s = 90MB/s
--> Zeit bis Cache (1'000MB) voll ist: 1'000MB / 90MB/s = ca. 11s
--> Insgesamt geschrieben (in den Cache): 11s * 100MB/s = 1100MB
--> Insgesamt geschrieben (auf die Platten) resp. gelesen (aus dem Cache): 11s * 100MB/s = 110MB
--> Schreibgeschwindigkeit 0s - 11s = 100MB/s
--> Schreibgeschwindigkeit 11s - Xs = 10MB/s
--> Geschrieben von 10'000MB, 0s - 11s = 1100MB
--> Noch übrig / Geschrieben von 10'000MB, 11s - Xs = 8900MB
--> Zeitdauer von 11s - Xs = 8900MB / 10MB/s = 890s = ca. 15min
--> Zeitdauer gesamt = 11s + 890s = 901s = ca. 15min
> NACH dem Abschliessen der Übertragung (z.B. übers Netzwerk) schreibt der Cache ja noch weiterhin auf die Platte (da der Cache ja noch voll ist ...), dies ist jedoch für den User nicht relevant ... ???
Naja ... habe ich das Prinzip des Caches überhaupt nicht begriffen oder habe ich irgendwo einen Rechnungsfehler?
Langer Thread ... lasst einfach mal euche Gedanke zu allem sprudeln ;)
Greetz, Lousek
Ich habe mal ein paar praktische und theoretische Fragen RAID5, Cache und Performance.
Praxis:
Ich habe hier ein DL380 G1 mit einem Smart Array 3200 (32-bit) RAID-controller, 16MB Cache.
Eine 64-bit MC5700 (so heisst sie glaubs) Gigabit-Netzwerkkarte ist auch eingebaut.
Theorie - Praxis
Der Smart Array 3200 Controller ist ein Ultra2 SCSI-Controller (theoretisch 80MB/s).
Der steckt in einem 32-bit-PCI-Bus (33MHz, theoretisch ca. 125MB/s).
Die Gigabit-Netzwerkkarte steckt in einem 64-bit-PCI-Bus (33MHz, theoretisch 250MB/s ???).
Also wäre THEORETISCH der SCSI-Controller resp. die SCSI-Schnittstelle den Flaschenhals?
Andere Frage - RAID5-Performance:
Jetzt gibt es immer wieder SCSI-to-IDE-Subsysteme bei eBay & CO.
Diese haben meistens 12 - 16 HD-Bays für Ultra ATA (133MB/s) Festplatten.
Die Anschlüsse sind entweder SCSI U160 / Ultra3SCSI (160MB/s) oder SCSI U320 (320MB/s).
Jetzt:
Gehen wir von einem "professionellen" Subsystem mit 14x Ultra ATA/133, SCSI U160 als Hostverbindung und 512MB Cache aus. Alle HD-Bays sind mit (sagen wir mal) "normalen" IDE-Festplatten (7200 RPM, normale Homeuser-Platten) gefüllt und in einem RAID5 zusammengefasst.
RAID5 soll ja beim Lesen einen Performance-Gewinn bringen, beim Schreiben kein grosses Plus haben, da immer berechnet werden muss, was auf welche Platte kommt (richtig so?).
Wie viel Performance-Gewinn beim Lesen bringt ein RAID5 durchschnittlich, wenn von einem durchschnittlichen RAID-Controller und durchschnittlichen Platten ausgegangen wird?
Bringt das RAID5 / die 14 Platten darin beim Schreiben darauf überhaupt einen merkbaren Performance-Gewinn oder nicht?
Wieder andere Frage - Cache:
Wenn ich das richtig verstehe, ist Cache ja ein schneller Zwischenspeicher ...
Gehen wir von (THEORIE:P) einem RAID-Controller mit 1000MB Cache (zum rechnen) aus, in den (um einfacher rechnen zu können:P) mit 100MB/s geschrieben und ebenso schnell davon gelesen werden kann. An diesem hängen ein paar Platten (unbedeutend was für welche und RAID-Level etc ...), auf die mit 10MB/s geschrieben und ebenso schnell davon gelesen werden kann ...
Wenn ich jetzte eine Datei (oder mehrere, egal, sagen wir mal 10GB) auf die Storage schreiben will, UND ich auch mit 100MB/s übers z.B. Netzwerk schreiben könnte (Theorie ... Konjunktiv ^^), würde er solange mit 100MB/s in den Cache schreiben und gleichzeitig mit 10MB/s weiter auf die Platten schreiben, bis der Cache voll wäre, danach würde es nur noch mit den 10MB/s weiter gehen, da die Platten nur 10MB/s aus dem Cache nehmen und somit auch nur so viel wieder reingeschrieben werden kann ...
Rechnen:
Cache = 1'000MB
Datei(en) = 10'000MB
Schreiben in den Cache = 100MB/s
Schreiben aus dem Cache auf die Platten = 10MB/s
--> Inhaltszunahem des Caches pro Sekunde: 100MB/s - 10MB/s = 90MB/s
--> Zeit bis Cache (1'000MB) voll ist: 1'000MB / 90MB/s = ca. 11s
--> Insgesamt geschrieben (in den Cache): 11s * 100MB/s = 1100MB
--> Insgesamt geschrieben (auf die Platten) resp. gelesen (aus dem Cache): 11s * 100MB/s = 110MB
--> Schreibgeschwindigkeit 0s - 11s = 100MB/s
--> Schreibgeschwindigkeit 11s - Xs = 10MB/s
--> Geschrieben von 10'000MB, 0s - 11s = 1100MB
--> Noch übrig / Geschrieben von 10'000MB, 11s - Xs = 8900MB
--> Zeitdauer von 11s - Xs = 8900MB / 10MB/s = 890s = ca. 15min
--> Zeitdauer gesamt = 11s + 890s = 901s = ca. 15min
> NACH dem Abschliessen der Übertragung (z.B. übers Netzwerk) schreibt der Cache ja noch weiterhin auf die Platte (da der Cache ja noch voll ist ...), dies ist jedoch für den User nicht relevant ... ???
Naja ... habe ich das Prinzip des Caches überhaupt nicht begriffen oder habe ich irgendwo einen Rechnungsfehler?
Langer Thread ... lasst einfach mal euche Gedanke zu allem sprudeln ;)
Greetz, Lousek
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 102597
Url: https://administrator.de/contentid/102597
Printed on: April 23, 2024 at 19:04 o'clock
5 Comments
Latest comment
Hallo,
Die erste Frage die ich mir stelle was läuft dort für eine Anwendung bzw wofür nutzt du das ganze.
Ich vermute mal du setzt das ganze privat ein.
Die von dir verwendete Hardware ist im Hinblick auf Geschwindigkeit nicht mehr ganz zeitgemäss.
Zum Thema Teorie-Praxis Busgeschwindigkeit Netzwerkkarte SCSI Controller:
Bei der Netzwerkkarte hast du bei Gigabit Ethernet ca 125 MB/s Übertragungsgeschwindigkeit auf der Netzwerkseite.
Beim UW SCSI hast du auf dem SCSI Bus eien theoretisch maximale Übertragungsrate von 80 MB/s in der Praxis hat einen UW SCSI Festplatte eine Übertragungsrate von ca 15-30 MB/s je nach Typ und Aufbau des Busses und Raidlevels.
Thema Raidlevel Raid 5:
SCSI zu ATA ist meiner Meinung nach nicht unbedingt eine gute Lösung, ich persönlich sehe das als Bastellösung an.
Besonders von Standard Dektop Festplatten würde ich dir abraten, diese Platten sind meist nicht für den Dauerbetrieb ausgelegt,von der Wärme und den Vibrationen in so einem Gehäuse will ich gar nicht erst anfangen.
Wenn du eine preiswerte Speicherlösung suchst würde ich dir ein NAS empfehlen.
Bei Raid 5 werden die parity Informationen auf alle Platten verteilt, bedeutet es kommt auf den gesammten Plattensatz an.
Für ein Raid 5 benötigst du mindestens 3 Platten, weitere erhöhen die Kapazität und steigern leicht die performance.
Thema Cache: Ja der Cache wird zum Zwischenspeichern genutzt.
momentan am Markt verfügbare Controller haben zwischen 128 und 512 MB Cache.
z.B: der MegaRaid SAS 84016E der Firma LSI hat 256 MB Ram 16 SAS/SATA Anschlüsse eien Übertragungsgeschwindigkeit von 3GB/s pro port und Busseitig einen PCIe x8 Anschluss mit einer Übertragungsgeschwindigkeit von 2,5 GB/s pro lane.
Die Übertragungsgeschwindigkeiten sind die theoretisch erreichbaren Maximalwerte in der Prraxis liegt der dursatz natürlich darunter.
Gruß
Oldring
Die erste Frage die ich mir stelle was läuft dort für eine Anwendung bzw wofür nutzt du das ganze.
Ich vermute mal du setzt das ganze privat ein.
Die von dir verwendete Hardware ist im Hinblick auf Geschwindigkeit nicht mehr ganz zeitgemäss.
Zum Thema Teorie-Praxis Busgeschwindigkeit Netzwerkkarte SCSI Controller:
Bei der Netzwerkkarte hast du bei Gigabit Ethernet ca 125 MB/s Übertragungsgeschwindigkeit auf der Netzwerkseite.
Beim UW SCSI hast du auf dem SCSI Bus eien theoretisch maximale Übertragungsrate von 80 MB/s in der Praxis hat einen UW SCSI Festplatte eine Übertragungsrate von ca 15-30 MB/s je nach Typ und Aufbau des Busses und Raidlevels.
Thema Raidlevel Raid 5:
SCSI zu ATA ist meiner Meinung nach nicht unbedingt eine gute Lösung, ich persönlich sehe das als Bastellösung an.
Besonders von Standard Dektop Festplatten würde ich dir abraten, diese Platten sind meist nicht für den Dauerbetrieb ausgelegt,von der Wärme und den Vibrationen in so einem Gehäuse will ich gar nicht erst anfangen.
Wenn du eine preiswerte Speicherlösung suchst würde ich dir ein NAS empfehlen.
Bei Raid 5 werden die parity Informationen auf alle Platten verteilt, bedeutet es kommt auf den gesammten Plattensatz an.
Für ein Raid 5 benötigst du mindestens 3 Platten, weitere erhöhen die Kapazität und steigern leicht die performance.
Thema Cache: Ja der Cache wird zum Zwischenspeichern genutzt.
momentan am Markt verfügbare Controller haben zwischen 128 und 512 MB Cache.
z.B: der MegaRaid SAS 84016E der Firma LSI hat 256 MB Ram 16 SAS/SATA Anschlüsse eien Übertragungsgeschwindigkeit von 3GB/s pro port und Busseitig einen PCIe x8 Anschluss mit einer Übertragungsgeschwindigkeit von 2,5 GB/s pro lane.
Die Übertragungsgeschwindigkeiten sind die theoretisch erreichbaren Maximalwerte in der Prraxis liegt der dursatz natürlich darunter.
Gruß
Oldring
Naja ... schon für zu Hause, ja ;)
Wenn ich mir die NAS anschaue ... ein NAS mit 4 SATA-Slots kostet auch so um die 600 CHF (400 Euronen) ... einer im 19" Chassis kostet meistens so um die 1000 CHF (600 Euronen) ...
Und sooooo Ultra-schnell muss es natürlich nicht sein ... bei so einem SCSI-to-IDE Subsystem kann ich am Anfang schön mit z.B. 3x 750GB anfangen, und die dann nach und nach bis auf 9 TB erweitern ... und die meisten NAS in dem Preissegment bieten "nur" 4x 750GB = ca. 3 TB ...
Ich habe einfach noch "ältere" Server (so Compaq G1 - G3) hier rumstehen, und da ist nur eine externe Storage eine Option ... und warum nicht das gute alte SCSI? Übers Netzwerk (NAS) habe ich auch schon rumgepröbelt ... naja ...
Achja: Hat Ultra3 SCSI / SCSI U160 nicht eine theoretische Übertragungsrate von 160MB/s?
Greetz, Lousek
Wenn ich mir die NAS anschaue ... ein NAS mit 4 SATA-Slots kostet auch so um die 600 CHF (400 Euronen) ... einer im 19" Chassis kostet meistens so um die 1000 CHF (600 Euronen) ...
Und sooooo Ultra-schnell muss es natürlich nicht sein ... bei so einem SCSI-to-IDE Subsystem kann ich am Anfang schön mit z.B. 3x 750GB anfangen, und die dann nach und nach bis auf 9 TB erweitern ... und die meisten NAS in dem Preissegment bieten "nur" 4x 750GB = ca. 3 TB ...
Ich habe einfach noch "ältere" Server (so Compaq G1 - G3) hier rumstehen, und da ist nur eine externe Storage eine Option ... und warum nicht das gute alte SCSI? Übers Netzwerk (NAS) habe ich auch schon rumgepröbelt ... naja ...
Achja: Hat Ultra3 SCSI / SCSI U160 nicht eine theoretische Übertragungsrate von 160MB/s?
Greetz, Lousek
Hallo,
Nun wenn du die Hardware stehen hast ist natürlich nichts gegen eine weitere Nutzung einzuwenden.
Statt IDE würde ich eventuell SATA nehmen, da gibts dann auch exemplare die speziell für RAID geeignet sind.
U160 hat eine theoretische Übertragungsrate von 160 MB/s wenn du dir sowas denn kaufen möchtes würde ich dir aber zu einem U320 Controller raten, sind meist gen
genau so teuer wie ein U160.
Achja U320 ist zu U160 abwärtskompatibel.
Tip: wenn du U160 (U320) nutzen möchtest müssen auch alle Geräte die Geschwindigkeit ünterstützen.
Beispiel: Rasidcontroller, Kabel, Storage und Festplatten sind U160 fähig, wenn du eine UW Platte dazusteckst fällt alles auf UW zurück.
Gruß Oldring
Nun wenn du die Hardware stehen hast ist natürlich nichts gegen eine weitere Nutzung einzuwenden.
Statt IDE würde ich eventuell SATA nehmen, da gibts dann auch exemplare die speziell für RAID geeignet sind.
U160 hat eine theoretische Übertragungsrate von 160 MB/s wenn du dir sowas denn kaufen möchtes würde ich dir aber zu einem U320 Controller raten, sind meist gen
genau so teuer wie ein U160.
Achja U320 ist zu U160 abwärtskompatibel.
Tip: wenn du U160 (U320) nutzen möchtest müssen auch alle Geräte die Geschwindigkeit ünterstützen.
Beispiel: Rasidcontroller, Kabel, Storage und Festplatten sind U160 fähig, wenn du eine UW Platte dazusteckst fällt alles auf UW zurück.
Gruß Oldring
Hmm ... ich habe in einem DL360 G3 zwei U320-Platten darin ... wenn ich jetzt an dem externen Port ein U160-Disk-Array anhänge, fallen auch die am internen Port zurück? Eigentlich ist dies ja nicht so schlimm ... da die Disks ja der Engpass sind, also wenn ich U320 Disks mit 40MB/s habe, und ich die an U160 anhänge, kommt ja immernoch maximal 40MB/s ...
Naja ... eine SCSI-to-SATA Storage bekommt man noch nicht so leicht / billig Occasion wie eine SCSI-to-IDE, was mir für zu Hause schon reicht ...
Achja, wegen dem WRITE-Cache ... stimmt meine Annahme oben, das Dateien zuerst in den Cache geschrieben werden, und dann vom Cache auf die HD's?
Greetz, Lousek
Naja ... eine SCSI-to-SATA Storage bekommt man noch nicht so leicht / billig Occasion wie eine SCSI-to-IDE, was mir für zu Hause schon reicht ...
Achja, wegen dem WRITE-Cache ... stimmt meine Annahme oben, das Dateien zuerst in den Cache geschrieben werden, und dann vom Cache auf die HD's?
Greetz, Lousek
Hallo,
Wenn das Ein Controller mit zwei Kanälen (einer intern, einer extern) sollte der interne weiter mit 320 laufen.
Nun wie ich schon geschrieben habe wenn die Harware vorhanden ist sricht nichts dagegen sie auch zu benutzen
Ja die Daten werden normalerweise in den Cache gelesen und geschrieben.
Bei einigen Controllern bzw Storages ist der allerdings wegen der Hotplug Funktion deaktiviert, also sicherheitshalber mal ins Bios / bzw Startmenü schauen.
Gruß
Oldring
Wenn das Ein Controller mit zwei Kanälen (einer intern, einer extern) sollte der interne weiter mit 320 laufen.
Nun wie ich schon geschrieben habe wenn die Harware vorhanden ist sricht nichts dagegen sie auch zu benutzen
Ja die Daten werden normalerweise in den Cache gelesen und geschrieben.
Bei einigen Controllern bzw Storages ist der allerdings wegen der Hotplug Funktion deaktiviert, also sicherheitshalber mal ins Bios / bzw Startmenü schauen.
Gruß
Oldring
