Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Daten automatisch über mehrere Festplatten verteilen?

Frage Linux

Mitglied: Lousek

Lousek (Level 2) - Jetzt verbinden

14.04.2009, aktualisiert 11:49 Uhr, 7513 Aufrufe, 13 Kommentare

Hallo Forum.

Ich versuche gerade, mir mein Konzept für einen File-Server (Virtuelle Maschine auf ESXi) unter Debian zu erarbeiten.

Die VM soll je 1TB grosse vmdk-Festplatten bekommen. Diese liegen auf einem VMFS-Datastore (Im Moment: 3x 1TB RAID5, Ferner Zukunft: 6x 1TB RAID5).
Jetzt sieht ja das Debian all diese Festplatten einzeln (sda, sdb, sdc, sdd, usw).
Wenn ich jetzt die erste virtuelle Festplatte gefüllt habe, muss ich nun manuell schauen, dass von nun an die Daten auf die nächste Festplatte geschrieben werden. Jedoch wird vieleicht auf der ersten Festplatte wieder Platz frei, und dann müsste ich selbst schauen, dass die Platzausnutzung optimal ist.

Gibt es irgend ein System, das die Dateien automatisch über die Festplatten verteilt?
Eine Möglichkeit wäre ja z.B. ein Software-RAID0 über alle Festplatten zu machen, aber zusätzliche Performance erreiche ich damit ja nicht und es klaut mir CPU-Leistung.
Und dann wäre da noch die 2TB-Grenze ...

Naja ... irgend jemand eine Idee? ;)

Greetz, Lousek
Mitglied: harald21
14.04.2009 um 12:17 Uhr
Hallo,

wenn du ein RAID5 hast, so solltest du die einzelnen Festplatten gar nicht mher sehen, sondern nur noch das RAID-Volume. Die Verteilung der Daten auf die einzelnen Festplatten erfolgt dann auch automatisch.

mfg
Harald
Bitte warten ..
Mitglied: 45877
14.04.2009 um 12:23 Uhr
Hallo,

eine VMware Disk darf doch 2TB groß sein, warum machst du sie ein TB groß wenn du im Moment nur 2TB an Platz hast? Wenn du später mal 5TB an Platz hast, ist mi auh immer noch nicht klar, warum du das Ganze überhaupt virtualisierst wenn du den ganzen Platz einem Fileserver gibst?
Und du wirst doch mehr als einen Ordner auf dem Server haben?
Bitte warten ..
Mitglied: Lousek
14.04.2009 um 12:34 Uhr
Salisali

@harald21:
Ja, das ist mir schon klar. Auf dem RAID5 (im Moment 3x 1TB) ist ein LUN (2TB) eingerichtet. Darauf ein Datastore.
System-Disks liegen auf einem anderen Datastore (RAID1, 2x 160GB), und auf diesen zweiten Datastore sollen nun alle Virtuellen Festplatten, die Daten enthalten (z.B. eine vmdk für die Postfächer des Mail-Server, oder eine vmdk für die Datenbanken des MySQL-Servers).

@45877:
Naja ... ich habe an verschiedenen Orten gehört, dass ESX(i) mit 2TB grossen Files nicht immer sooo nett mitspielt wie sonst.

Mehr als einen Ordner? Wie meinst du das?

Das ganze ist zu Hause, und auf den File-Server sollen alle Filme / Musik / .isos / Programme usw.
Und wenn ich jetzt (als Beispiel) die Filme auf zwei 1TB-Platten aufteile, von A - L und von M - Z, dann können ja noch immer Filme auf der ersten Platte dazu kommen ...

Darum suche ich ein System, das die Daten selbst geschickt verteilt.

Greetz, Lousek
Bitte warten ..
Mitglied: AlexanderGruel
14.04.2009 um 12:53 Uhr
Unter Linux (in deinem Fall Debian) kannst du dir mal das virtuelle Dateisystem AuFS (http://en.wikipedia.org/wiki/Aufs) anschauen - damit ist es unter anderem möglich, beliebige Ordner/Partitionen/Pfade in einen gemeinsamen Ordner zu mappen, so das diese als ein einziger großer Ordner gelistet werden - bei Schreibzugriffen verteilt AuFS dann die Daten je nach Auslastung und Platz auf die Platten, wie genau man das granular beeinflussen kann weiß ich allerdings nicht - ich verwende diese Lösung in meinem Fileserver, um mehrere non-raid Festplatten auf denen Mediadaten liegen zusammenzufassen, um nicht mehrere Netzwerkfreigaben erstellen und mounten zu müssen.
Bitte warten ..
Mitglied: mrtux
14.04.2009 um 13:11 Uhr
Hi !

Eine Möglichkeit wäre ja z.B. ein Software-RAID0 über

Ja genau, das wäre die beste Lösung

alle Festplatten zu machen, aber zusätzliche Performance erreiche
ich damit ja nicht und es klaut mir CPU-Leistung.

Schon mal was von Hardware RAID gehört. Ich würde 3Ware empfehlen !

Naja ... irgend jemand eine Idee? ;)

Ja aber bestimmt kein Software-RAID0

mrtux
Bitte warten ..
Mitglied: Lousek
14.04.2009 um 13:13 Uhr
Naja ... im Server ist ein 8-Port Hardware-RAID-Controller ... aber IN der VM kann ich ja nicht gut ein Hardware-RAID machen :P

Ich werde mir das AuFS mal genauer ansehen ... thx für den Tipp.

Greetz, Lousek
Bitte warten ..
Mitglied: Lousek
14.04.2009 um 13:21 Uhr
Perfekt, ich glaube AuFS (AnotherUnifiedFileSystem) ist das Gesuchte: http://wiki.unixboard.de/index.php/AnotherUnifiedFileSystem_-_aufs

Werde das mal ausprobieren und mich dann wieder melden (evt. mit einem Tutorial) ...

Greetz und thx an alle, Lousek
Bitte warten ..
Mitglied: mrtux
14.04.2009 um 13:26 Uhr
Hi !

Schon OK aber so kompliziert wie Du das oben beschrieben hast macht das in der Praxis sowieso niemand, daher meine Verwunderung. Sorry !

mrtux
Bitte warten ..
Mitglied: Lousek
14.04.2009 um 13:32 Uhr
Was für ein System hast du auf deinem File-Server (Linux-Distri)?

Hast du irgendwelche Links, wie ich AuFS vorzugsweise auf Debian zu laufen kriege?

Greetz, Lousek
Bitte warten ..
Mitglied: AlexanderGruel
14.04.2009 um 15:40 Uhr
Bei mir rennt ein stinknormales Ubuntu derzeit (wird demnächst mal auf Debian umgestellt), da war aufs im Kernel schon eingebunden..ich hab nur anhand des wikis das du schon selbst verlinkt hast mir den richtigen Mountbefehl zusammengebastelt und per cron beim booten aufgerufen
Bitte warten ..
Mitglied: Lousek
14.04.2009 um 15:50 Uhr
Wieso per cron und nicht per fstab?
Bitte warten ..
Mitglied: AlexanderGruel
14.04.2009 um 15:58 Uhr
Einfach Macht der Gewohnheit denke ich.. viele Wege führen nach Rom ;)
Bitte warten ..
Mitglied: Lousek
14.04.2009 um 17:02 Uhr
Noch eine andere Frage (so mitten im Thread:P):
Wie sieht dein mount-Befehl aus?
Ich habe es mit mount none /mnt/aufs -t aufs -o create=rr,br=/branches/sdb1:/branches/sdc1:/branches/sdd1 probiert, wobei /branches/sdb1 die gemountete Partition sdb1 ist (ext3).

Jedoch teilt er bei mir die Daten nicht auf.
Testhalber sind die drei Partitionen (sdb1, sdc1 und sdd1) nur je 2GB gross.
Jetzt wollte ich ein 1.5GB grosses DiskDump-File nach /mnt/aufs (dorthin habe ich das AUFS-System(???) gemountet mit dem Befehl oben) kopieren.
big1.img ... wird problemlos kopiert, wenn ich ein ls auf die einzelnen branches mache, sehe ich es im sdb1.
nächster Versuch, ein weiteres 1.5GB grosses DiskDump-File kopieren:
big2.img ... bricht ab mit dem Fehler "Auf dem Gerät ist kein Speicherplatz mehr verfügbar" ...

Aber eigentlich sollte er doch dieses File jetzt nach sdc1 oder sdd1 kopieren (wenn man die branches betrachtet) ... warum macht er das nicht???

Greetz, Lousek
Bitte warten ..
Neuester Wissensbeitrag
Windows 10

Powershell 5 BSOD

(8)

Tipp von agowa338 zum Thema Windows 10 ...

Ähnliche Inhalte
Microsoft Office
gelöst Excel Daten automatisch in mehrere Exceldateien exportieren (9)

Frage von paggo69 zum Thema Microsoft Office ...

Batch & Shell
gelöst Alte Daten automatisch per Zip erstellen (4)

Frage von BEBBYs zum Thema Batch & Shell ...

Heiß diskutierte Inhalte
LAN, WAN, Wireless
gelöst Server erkennt Client nicht wenn er ausserhalb des DHCP Pools liegt (28)

Frage von Mar-west zum Thema LAN, WAN, Wireless ...

Microsoft
Ordner mit LW-Buchstaben versehen und benennen (19)

Frage von Xaero1982 zum Thema Microsoft ...

Outlook & Mail
gelöst Outlook 2010 findet ost datei nicht (19)

Frage von Floh21 zum Thema Outlook & Mail ...

Windows Server
Server 2008R2 startet nicht mehr (Bad Patch 0xa) (18)

Frage von Haures zum Thema Windows Server ...