6741
Mar 12, 2006, updated at Mar 28, 2006 (UTC)
6726
23
0
Welches System für viele kleine Dateien
Hallo,
ich überlege welches System und wie man es aufbaut.
Folgende Anforderung:
ca 50.000 - 100.000 Dateien ( 50kb - 300kb groß ) und müssen schnell gelesen werden.
Das ganze ist für privat also kein klassisches Raid ( zu teuer ). Ich denke die Daten sollten vom BS getrennt werden, auch Hardware seitig ( eigende Platte ). Wie sieht es mit einem Software Raid ( SATA auf einem Gigabyte Board ) aus. Oder einfach eine SATA Platte fürs BS und eine für Daten.
Welche Erfahrungen habt Ihr gemacht ???
ich überlege welches System und wie man es aufbaut.
Folgende Anforderung:
ca 50.000 - 100.000 Dateien ( 50kb - 300kb groß ) und müssen schnell gelesen werden.
Das ganze ist für privat also kein klassisches Raid ( zu teuer ). Ich denke die Daten sollten vom BS getrennt werden, auch Hardware seitig ( eigende Platte ). Wie sieht es mit einem Software Raid ( SATA auf einem Gigabyte Board ) aus. Oder einfach eine SATA Platte fürs BS und eine für Daten.
Welche Erfahrungen habt Ihr gemacht ???
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 27988
Url: https://administrator.de/contentid/27988
Printed on: April 24, 2024 at 14:04 o'clock
23 Comments
Latest comment
Hi,
also getrennte Platten für Betriebssystem mit Porgrammen und Daten ist schon mal eine
sinnvolle Sache, insbesondere bei so vielen kleinen Dateien.
Um zusätzliche Sicherheit zu bekommen, kannst Du die Daten-Platte (dazu müsstest Du
dann noch eine Platte identischer Größe dazukaufen) noch mit einem Software-RAID 1
spiegeln, da dürften ja 2 40GB SATA Platten reichen oder halt 2 80GB Platten.
Ich würde die Betriebssystem HDD nicht mit ins RAID aufnehmen.
Oder laternativ einen günstigen Promise Controller mit SATA RAID kaufen, wenn das der onboard
Controller nicht können sollte.
Gruß
cykes
[EDIT] Software RAID wirkt sich logischerweise auf die Gesamtperformance aus, wenn das ganze richtig vernünftig sein soll, kommst Du nicht um einen Hardware RAID Controller rum,
z.B. einen von 3ware.
also getrennte Platten für Betriebssystem mit Porgrammen und Daten ist schon mal eine
sinnvolle Sache, insbesondere bei so vielen kleinen Dateien.
Um zusätzliche Sicherheit zu bekommen, kannst Du die Daten-Platte (dazu müsstest Du
dann noch eine Platte identischer Größe dazukaufen) noch mit einem Software-RAID 1
spiegeln, da dürften ja 2 40GB SATA Platten reichen oder halt 2 80GB Platten.
Ich würde die Betriebssystem HDD nicht mit ins RAID aufnehmen.
Oder laternativ einen günstigen Promise Controller mit SATA RAID kaufen, wenn das der onboard
Controller nicht können sollte.
Gruß
cykes
[EDIT] Software RAID wirkt sich logischerweise auf die Gesamtperformance aus, wenn das ganze richtig vernünftig sein soll, kommst Du nicht um einen Hardware RAID Controller rum,
z.B. einen von 3ware.
hi
nicht zu vergessen sind ist bei der Formtatierung die NTFS Clustergröße, dies sollte 4K
oder auch mal gar 64K sein. Desweiteren ist bei chkdsk der L Parameter nicht ausser Acht zu lassen, ruhig mal auf 256K setzen.
cu
willi
nicht zu vergessen sind ist bei der Formtatierung die NTFS Clustergröße, dies sollte 4K
oder auch mal gar 64K sein. Desweiteren ist bei chkdsk der L Parameter nicht ausser Acht zu lassen, ruhig mal auf 256K setzen.
cu
willi
Hi,
@cykes
Der 3ware ist das ein Hardware Controller ?? Ich habe den Raid Controller auf dem Board und denke es ist nicht das Beste also werde ich wohl eine externen dazu kaufen. Kann man evtl auch zwei controller laufen lassen? Einen fürs BS einen für die Daten ???
@wiri
Wenn ide Clustergröße auf 4k ist, ist das dann besonders für die Datengröße bzw für die Datenmenge entscheident?
@cykes
Der 3ware ist das ein Hardware Controller ?? Ich habe den Raid Controller auf dem Board und denke es ist nicht das Beste also werde ich wohl eine externen dazu kaufen. Kann man evtl auch zwei controller laufen lassen? Einen fürs BS einen für die Daten ???
@wiri
Wenn ide Clustergröße auf 4k ist, ist das dann besonders für die Datengröße bzw für die Datenmenge entscheident?
Also, wenn's auf die Performance ankommt: keinesfalls Raid 1 benutzen! Hat zwar für Lesevorgänge nicht die Auswirkung, wie für Schreibvorgänge, aber Striping mit Raid 0 wäre hier sinnvoller. Wenn natürlich auch unsicherer.
Und wenn Du wirklich überlegst, Dir ein Software-Raid einzurichten, hast Du ja scheinbar schon mindestens zwei SATA-Platten für die Dateien. Ein SATA-Raid-Controller mit "Hardware"-Raid gibt es dafür schon für sehr kleines Geld, es muss ja kein 10-Port Bolide mit Raid5 sein.
Den "Dawicontrol DC-150 RAID" (2 SATA-Ports, Raid 0 und 1) beispielsweise gibt es schon für ca. 50 Euro.
Und wenn Du wirklich überlegst, Dir ein Software-Raid einzurichten, hast Du ja scheinbar schon mindestens zwei SATA-Platten für die Dateien. Ein SATA-Raid-Controller mit "Hardware"-Raid gibt es dafür schon für sehr kleines Geld, es muss ja kein 10-Port Bolide mit Raid5 sein.
Den "Dawicontrol DC-150 RAID" (2 SATA-Ports, Raid 0 und 1) beispielsweise gibt es schon für ca. 50 Euro.
Hi,
@cykes
Der 3ware ist das ein Hardware Controller ??
Ich habe den Raid Controller auf dem Board
und denke es ist nicht das Beste also werde
ich wohl eine externen dazu kaufen. Kann man
evtl auch zwei controller laufen lassen?
Einen fürs BS einen für die Daten
???
Zwei SATA-Raids funktionieren auch. Der Raid-Controller auf dem Board sollte dann für das OS, der externe für die Datenplatten benutzt werden. Denn nicht jedes Bios kann von einem PCI-Sata-Adapter booten.@cykes
Der 3ware ist das ein Hardware Controller ??
Ich habe den Raid Controller auf dem Board
und denke es ist nicht das Beste also werde
ich wohl eine externen dazu kaufen. Kann man
evtl auch zwei controller laufen lassen?
Einen fürs BS einen für die Daten
???
Gruss
Stefan
Hi
wenn die Dateien in einer Singeluserumgebung auf NTFS Cluster mit 64K Größe abgebildet werden, brauchst du nur 1 IO für für Dateien bis 64K, und das ist schnell!
Selbst bei MS werden solche Werte empfohlen bei Multiuserumgebungen.
cu
willi
wenn die Dateien in einer Singeluserumgebung auf NTFS Cluster mit 64K Größe abgebildet werden, brauchst du nur 1 IO für für Dateien bis 64K, und das ist schnell!
Selbst bei MS werden solche Werte empfohlen bei Multiuserumgebungen.
cu
willi
Hi,
@cykes
Der 3ware ist das ein Hardware Controller ??
Ich habe den Raid Controller auf dem Board
und denke es ist nicht das Beste also werde
ich wohl eine externen dazu kaufen. Kann man
evtl auch zwei controller laufen lassen?
Einen fürs BS einen für die Daten
???
@cykes
Der 3ware ist das ein Hardware Controller ??
Ich habe den Raid Controller auf dem Board
und denke es ist nicht das Beste also werde
ich wohl eine externen dazu kaufen. Kann man
evtl auch zwei controller laufen lassen?
Einen fürs BS einen für die Daten
???
Ja, 3ware baut echte Hardware RAID Controller für IDE und SATA,
das wäre in jedem Fall die beste Lösung, und die Controller haben ein top
Preis-/Leistungsverhältnis.
Gruß
cykes
Hi zusammen,
Platten und Hardware Controller habe ich noch nicht.
Welche Festplatten würdet ihr empfehlen??
Wie immer in der EDV schnell und sicher muss es sein. Eine Sicherung der Daten mache ich auf eine externe Platte. Mir geht es in erster Line darum schnelle Vorschau auf die Daten ( Bilder ) zu haben. Ich habe ein 3GHz Rechner ( 64 bit ) läuft aber auf normalen Windows Home ( evtl Professional nehmen ?? ) und wenn man 64 bit nimmt welches OS? MS läuft ja nicht alles.
Platten und Hardware Controller habe ich noch nicht.
Welche Festplatten würdet ihr empfehlen??
Wie immer in der EDV schnell und sicher muss es sein. Eine Sicherung der Daten mache ich auf eine externe Platte. Mir geht es in erster Line darum schnelle Vorschau auf die Daten ( Bilder ) zu haben. Ich habe ein 3GHz Rechner ( 64 bit ) läuft aber auf normalen Windows Home ( evtl Professional nehmen ?? ) und wenn man 64 bit nimmt welches OS? MS läuft ja nicht alles.
Hi zusammen,
Platten und Hardware Controller habe ich
noch nicht.
Welche Festplatten würdet ihr
empfehlen??
Platten und Hardware Controller habe ich
noch nicht.
Welche Festplatten würdet ihr
empfehlen??
Hi, für das RAID, wenn Du Dir einen 3ware Controller leistest, würde ich Seagate SATA Platten
mit NCQ Protokoll empfehlen.
Zum Besipiel diese hier: http://www.alternate.de/html/shop/productDetails.html?artno=A7BS04&;
Gruß
cykes
Hallo stpe
Warum auf keine Fall Raid 1? Um Daten sicher geschrieben werden sollen dann ist für den kleinen Geldbeutel Raid 1 ideal. Du hast bei Raid 0 zwar den Vorteil das du fast Doppelte Daten Geschwindigkeit hast aber keine Sicherheit der Daten. Den besten Kompromiss zwischen Sicherheit und Geschwindigkeit ist halt Raid 5.
Es gab glaube auch mal eine Möglichkeit in Win XP Pro Raid 5 zu nutzen musste man glaube ein paar Dateien umtauschen und an der Redistry was ändern. Was für mich immer die Frage war was ist wenn OS neu aufgesetzt wird wird dann das Raid von Xp neu erkannt oder ist dann alles futsch?
Deswegen setzte ich Software Raid nicht ein. Hardware die die ganze Logik übernehmen sind die Bessere Wahl.
MFG umd schönen Sonntag
Warum auf keine Fall Raid 1? Um Daten sicher geschrieben werden sollen dann ist für den kleinen Geldbeutel Raid 1 ideal. Du hast bei Raid 0 zwar den Vorteil das du fast Doppelte Daten Geschwindigkeit hast aber keine Sicherheit der Daten. Den besten Kompromiss zwischen Sicherheit und Geschwindigkeit ist halt Raid 5.
Es gab glaube auch mal eine Möglichkeit in Win XP Pro Raid 5 zu nutzen musste man glaube ein paar Dateien umtauschen und an der Redistry was ändern. Was für mich immer die Frage war was ist wenn OS neu aufgesetzt wird wird dann das Raid von Xp neu erkannt oder ist dann alles futsch?
Deswegen setzte ich Software Raid nicht ein. Hardware die die ganze Logik übernehmen sind die Bessere Wahl.
MFG umd schönen Sonntag
Da kommt mir direkt die Frage SATA II ??? Controller und Platten ??
Also im PCIe sitzt die Grafikkarte ..... also geht nur PCI ist der Einsatz von SATA II da sinnvoll? Wie schnell ist der PCI BUS ??
Also im PCIe sitzt die Grafikkarte ..... also geht nur PCI ist der Einsatz von SATA II da sinnvoll? Wie schnell ist der PCI BUS ??
Es ging Firewalldevil in seiner Frage ja darum, die Daten möglichst schnell zu lesen, deswegen habe ich Raid 0 empfohlen. Dass ein Raid 0 nicht so sicher, wie ein 1er Raid ist, habe ich extra erwähnt.
Einen Raid 5 habe ich deswegen nicht angesprochen, weil Firewalldevil seinen Geldbeutel schonen wollte, und entsprechende Controller (auch Sata) sicher das dazu eingeplante Budget sprengen würden.
Außerdem gilt ja sowieso: Nur Backups helfen gegen Murphy
Gruss
Stefan
Einen Raid 5 habe ich deswegen nicht angesprochen, weil Firewalldevil seinen Geldbeutel schonen wollte, und entsprechende Controller (auch Sata) sicher das dazu eingeplante Budget sprengen würden.
Außerdem gilt ja sowieso: Nur Backups helfen gegen Murphy
Gruss
Stefan
Hallo
Ich denke mal das bei sehr vielen kleinen Daten das Raid 0 nicht wirklich zum tragen kommt. Da bei den kleinen Daten nicht so viel verteilt werden kann das ist bei großen Daten besser. Deswegen würde ich sagen das ein schnelle Anbindung der Platte wichtiger währe.
MFG
Ich denke mal das bei sehr vielen kleinen Daten das Raid 0 nicht wirklich zum tragen kommt. Da bei den kleinen Daten nicht so viel verteilt werden kann das ist bei großen Daten besser. Deswegen würde ich sagen das ein schnelle Anbindung der Platte wichtiger währe.
MFG
Gerade bei kleinen Dateien wird sich ein Raid 0 gut machen, denn hier kommt es weniger auf die Transferzeit als vielmehr auf die schnellste Zugriffszeit an. Und wenn sich das auf mehrere Platten aufteilt, macht genau das den Geschwindigkeitsvorteil vom Raid aus.
Gruss
Stefan
Gruss
Stefan
Du könntest das ganze auch ganz anders lösen, Du kaufst Dir 2 gute SATA Platten,
schliesst die eine intern an und die andere in ein externes USB Gehäuse und machst dann
einmal pro Tag/Woche/Monat - je nachdem wie häufig sich die Daten ändern - ein Backup
auf die externe Platte und benutzt diese auch nur für dieses Backup (ansonsten
ausgeschaltet lassen). Damit erreichst Du mit relativ einfachen Mitteln eine ziemlich hohe
Datensicherheit und brauchst Dir auch keine Gedanken um eventuellen Performance-Verlust durch Software RAID zu machen.
Gruß
cykes
schliesst die eine intern an und die andere in ein externes USB Gehäuse und machst dann
einmal pro Tag/Woche/Monat - je nachdem wie häufig sich die Daten ändern - ein Backup
auf die externe Platte und benutzt diese auch nur für dieses Backup (ansonsten
ausgeschaltet lassen). Damit erreichst Du mit relativ einfachen Mitteln eine ziemlich hohe
Datensicherheit und brauchst Dir auch keine Gedanken um eventuellen Performance-Verlust durch Software RAID zu machen.
Gruß
cykes
Also ich denke einen internen PCI SATA Controller zu nutzen mit einem Raid 1 mit zwei Platten. Für die Sicherheit werde ich die externe USB Platte nutzen. Und für das BS werde ich den internen Controller nutzen. Mit einer SATA Platte.
Hi,
also den internen PCIe SATA Controller kann ich ncht einsetzen.
Wäre das richtig: ???
PCIe SATA ( 1 HDD ) ca 300MB/s = PCI SATA ( 2 HDD im RAID 1 ) ca. 300MB/s
Welche Platte wäre dann besonders schnell fürs Raid ? Die genannte Seagate ???
also den internen PCIe SATA Controller kann ich ncht einsetzen.
Wäre das richtig: ???
PCIe SATA ( 1 HDD ) ca 300MB/s = PCI SATA ( 2 HDD im RAID 1 ) ca. 300MB/s
Welche Platte wäre dann besonders schnell fürs Raid ? Die genannte Seagate ???
Hallo
Warum solltest du den internen SATA Controller nicht einsetzten? Welche Platte du benutzt ist auch nicht so entscheidend, Hauptsache es sind 2 Gleiche.
MFG
Warum solltest du den internen SATA Controller nicht einsetzten? Welche Platte du benutzt ist auch nicht so entscheidend, Hauptsache es sind 2 Gleiche.
MFG
ich denke der interne ( Software Controller ) ist langsamer, oder ???
Ich glaube nicht das du einen Unterschied merken wirst. Mal eine andere Frage was machst du mit solchen kleinen Dateien wie wird darauf zugegriffen?
eigentlich sollte sogar ne anständige ide festplatte ausreichend sein.
Hi,
ich überlege jetzt eine Platte oder auch zwei zu kaufen.
Kann eine SATAII Platte auch mit SATA betrieben werden??
ich überlege jetzt eine Platte oder auch zwei zu kaufen.
Kann eine SATAII Platte auch mit SATA betrieben werden??
Hi,
das kommt stark auf den (onboard) Controller/Chipsatz an, aber die meisten SATA2 platten lassen sich auf SATA1 Kompatibilität umjumpern.
Gruß
cykes
das kommt stark auf den (onboard) Controller/Chipsatz an, aber die meisten SATA2 platten lassen sich auf SATA1 Kompatibilität umjumpern.
Gruß
cykes
