lousek
Goto Top

Daten automatisch über mehrere Festplatten verteilen?

Hallo Forum.

Ich versuche gerade, mir mein Konzept für einen File-Server (Virtuelle Maschine auf ESXi) unter Debian zu erarbeiten.

Die VM soll je 1TB grosse vmdk-Festplatten bekommen. Diese liegen auf einem VMFS-Datastore (Im Moment: 3x 1TB RAID5, Ferner Zukunft: 6x 1TB RAID5).
Jetzt sieht ja das Debian all diese Festplatten einzeln (sda, sdb, sdc, sdd, usw).
Wenn ich jetzt die erste virtuelle Festplatte gefüllt habe, muss ich nun manuell schauen, dass von nun an die Daten auf die nächste Festplatte geschrieben werden. Jedoch wird vieleicht auf der ersten Festplatte wieder Platz frei, und dann müsste ich selbst schauen, dass die Platzausnutzung optimal ist.

Gibt es irgend ein System, das die Dateien automatisch über die Festplatten verteilt?
Eine Möglichkeit wäre ja z.B. ein Software-RAID0 über alle Festplatten zu machen, aber zusätzliche Performance erreiche ich damit ja nicht und es klaut mir CPU-Leistung.
Und dann wäre da noch die 2TB-Grenze ...

Naja ... irgend jemand eine Idee? ;)

Greetz, Lousek

Content-Key: 113792

Url: https://administrator.de/contentid/113792

Ausgedruckt am: 28.03.2024 um 23:03 Uhr

Mitglied: harald21
harald21 14.04.2009 um 12:17:50 Uhr
Goto Top
Hallo,

wenn du ein RAID5 hast, so solltest du die einzelnen Festplatten gar nicht mher sehen, sondern nur noch das RAID-Volume. Die Verteilung der Daten auf die einzelnen Festplatten erfolgt dann auch automatisch.

mfg
Harald
Mitglied: 45877
45877 14.04.2009 um 12:23:20 Uhr
Goto Top
Hallo,

eine VMware Disk darf doch 2TB groß sein, warum machst du sie ein TB groß wenn du im Moment nur 2TB an Platz hast? Wenn du später mal 5TB an Platz hast, ist mi auh immer noch nicht klar, warum du das Ganze überhaupt virtualisierst wenn du den ganzen Platz einem Fileserver gibst?
Und du wirst doch mehr als einen Ordner auf dem Server haben?
Mitglied: Lousek
Lousek 14.04.2009 um 12:34:12 Uhr
Goto Top
Salisali

@harald21:
Ja, das ist mir schon klar. Auf dem RAID5 (im Moment 3x 1TB) ist ein LUN (2TB) eingerichtet. Darauf ein Datastore.
System-Disks liegen auf einem anderen Datastore (RAID1, 2x 160GB), und auf diesen zweiten Datastore sollen nun alle Virtuellen Festplatten, die Daten enthalten (z.B. eine vmdk für die Postfächer des Mail-Server, oder eine vmdk für die Datenbanken des MySQL-Servers).

@45877:
Naja ... ich habe an verschiedenen Orten gehört, dass ESX(i) mit 2TB grossen Files nicht immer sooo nett mitspielt wie sonst.

Mehr als einen Ordner? Wie meinst du das?

Das ganze ist zu Hause, und auf den File-Server sollen alle Filme / Musik / .isos / Programme usw.
Und wenn ich jetzt (als Beispiel) die Filme auf zwei 1TB-Platten aufteile, von A - L und von M - Z, dann können ja noch immer Filme auf der ersten Platte dazu kommen ...

Darum suche ich ein System, das die Daten selbst geschickt verteilt.

Greetz, Lousek
Mitglied: AlexanderGruel
AlexanderGruel 14.04.2009 um 12:53:57 Uhr
Goto Top
Unter Linux (in deinem Fall Debian) kannst du dir mal das virtuelle Dateisystem AuFS (http://en.wikipedia.org/wiki/Aufs) anschauen - damit ist es unter anderem möglich, beliebige Ordner/Partitionen/Pfade in einen gemeinsamen Ordner zu mappen, so das diese als ein einziger großer Ordner gelistet werden - bei Schreibzugriffen verteilt AuFS dann die Daten je nach Auslastung und Platz auf die Platten, wie genau man das granular beeinflussen kann weiß ich allerdings nicht - ich verwende diese Lösung in meinem Fileserver, um mehrere non-raid Festplatten auf denen Mediadaten liegen zusammenzufassen, um nicht mehrere Netzwerkfreigaben erstellen und mounten zu müssen.
Mitglied: mrtux
mrtux 14.04.2009 um 13:11:19 Uhr
Goto Top
Hi !

Eine Möglichkeit wäre ja z.B. ein Software-RAID0 über

Ja genau, das wäre die beste Lösung face-smile

alle Festplatten zu machen, aber zusätzliche Performance erreiche
ich damit ja nicht und es klaut mir CPU-Leistung.

Schon mal was von Hardware RAID gehört. Ich würde 3Ware empfehlen !

Naja ... irgend jemand eine Idee? ;)

Ja aber bestimmt kein Software-RAID0 face-smile

mrtux
Mitglied: Lousek
Lousek 14.04.2009 um 13:13:14 Uhr
Goto Top
Naja ... im Server ist ein 8-Port Hardware-RAID-Controller ... aber IN der VM kann ich ja nicht gut ein Hardware-RAID machen :P

Ich werde mir das AuFS mal genauer ansehen ... thx für den Tipp.

Greetz, Lousek
Mitglied: Lousek
Lousek 14.04.2009 um 13:21:01 Uhr
Goto Top
Perfekt, ich glaube AuFS (AnotherUnifiedFileSystem) ist das Gesuchte: http://wiki.unixboard.de/index.php/AnotherUnifiedFileSystem_-_aufs

Werde das mal ausprobieren und mich dann wieder melden (evt. mit einem Tutorial) ...

Greetz und thx an alle, Lousek
Mitglied: mrtux
mrtux 14.04.2009 um 13:26:57 Uhr
Goto Top
Hi !

Schon OK aber so kompliziert wie Du das oben beschrieben hast macht das in der Praxis sowieso niemand, daher meine Verwunderung. Sorry !

mrtux
Mitglied: Lousek
Lousek 14.04.2009 um 13:32:25 Uhr
Goto Top
Was für ein System hast du auf deinem File-Server (Linux-Distri)?

Hast du irgendwelche Links, wie ich AuFS vorzugsweise auf Debian zu laufen kriege?

Greetz, Lousek
Mitglied: AlexanderGruel
AlexanderGruel 14.04.2009 um 15:40:55 Uhr
Goto Top
Bei mir rennt ein stinknormales Ubuntu derzeit (wird demnächst mal auf Debian umgestellt), da war aufs im Kernel schon eingebunden..ich hab nur anhand des wikis das du schon selbst verlinkt hast mir den richtigen Mountbefehl zusammengebastelt und per cron beim booten aufgerufen
Mitglied: Lousek
Lousek 14.04.2009 um 15:50:58 Uhr
Goto Top
Wieso per cron und nicht per fstab?
Mitglied: AlexanderGruel
AlexanderGruel 14.04.2009 um 15:58:31 Uhr
Goto Top
Einfach Macht der Gewohnheit denke ich.. viele Wege führen nach Rom ;)
Mitglied: Lousek
Lousek 14.04.2009 um 17:02:09 Uhr
Goto Top
Noch eine andere Frage (so mitten im Thread:P):
Wie sieht dein mount-Befehl aus?
Ich habe es mit mount none /mnt/aufs -t aufs -o create=rr,br=/branches/sdb1:/branches/sdc1:/branches/sdd1 probiert, wobei /branches/sdb1 die gemountete Partition sdb1 ist (ext3).

Jedoch teilt er bei mir die Daten nicht auf.
Testhalber sind die drei Partitionen (sdb1, sdc1 und sdd1) nur je 2GB gross.
Jetzt wollte ich ein 1.5GB grosses DiskDump-File nach /mnt/aufs (dorthin habe ich das AUFS-System(???) gemountet mit dem Befehl oben) kopieren.
big1.img ... wird problemlos kopiert, wenn ich ein ls auf die einzelnen branches mache, sehe ich es im sdb1.
nächster Versuch, ein weiteres 1.5GB grosses DiskDump-File kopieren:
big2.img ... bricht ab mit dem Fehler "Auf dem Gerät ist kein Speicherplatz mehr verfügbar" ...

Aber eigentlich sollte er doch dieses File jetzt nach sdc1 oder sdd1 kopieren (wenn man die branches betrachtet) ... warum macht er das nicht???

Greetz, Lousek