4
Linux Server verschlüsselt auf ZFS backupen und snapshots verwenden
Hi,
Gegeben ist ein Linux Server mit einer Menge an Daten auf ext3 und XFS Dateisystemen. Dabei werden Posix ACLs, erweiterte Attribute (chattr) sowie Hardlinks genutzt.
Derzeit geschieht das Backup per "rsync --dest-link" auf eine externe USB Platte auf ext3.
Das neue Backupkonzept soll ein NAS sein und die Daten sollen verschlüsselt gespeichert werden.
Als konkrete Lösung bin ich auch auf FreeNAS gestoßen, dass auf ZFS basiert, dieses geniale FS das ich mir so sehnlich für Linux wünschen würde.
Für meine Backups benötige ich nämlich auch eine Archivfunktion. Derzeit geschieht das wie gesagt über rswync --link-dest. Aber das ist erstens langsam und zweitens sehr ineffizient bei großen Dateien. ZFS könnte mir genialst einen Snapshot pro Tag anlegen (jeweils vor dem Backup).
Frage 1: Ist ZFS uneingeschtänkt mit den erweiterten Attributen bzw. Posix ACLs kompatibel sodass ich transparent rsync von ext3/XFS über ssh auf ZFS machen könnte?
Frage 2: Problematisch ist die Verschlüsselung. Die Idee wäre eigentlich gewesen, die Volumes per iSCSI zu exportieren, auf dem Server zu mounten, darüber ein dmcrypt zu machen und darüber ext3. Dabei müsste der Schlüssel den Server nicht verlassen. Allerdings befürchte ich dass das mit den ZFS Snapshots nicht kompatibel sein wird oder?
Gibt es eine Lösung mit der ich sowohl verschlüsseln kann (Backup möglichst per iSCSI, auch aus Performancegründen!) als auch das Snapshotfeature von ZFS verwenden kann?
LG
divBis0
Gegeben ist ein Linux Server mit einer Menge an Daten auf ext3 und XFS Dateisystemen. Dabei werden Posix ACLs, erweiterte Attribute (chattr) sowie Hardlinks genutzt.
Derzeit geschieht das Backup per "rsync --dest-link" auf eine externe USB Platte auf ext3.
Das neue Backupkonzept soll ein NAS sein und die Daten sollen verschlüsselt gespeichert werden.
Als konkrete Lösung bin ich auch auf FreeNAS gestoßen, dass auf ZFS basiert, dieses geniale FS das ich mir so sehnlich für Linux wünschen würde.
Für meine Backups benötige ich nämlich auch eine Archivfunktion. Derzeit geschieht das wie gesagt über rswync --link-dest. Aber das ist erstens langsam und zweitens sehr ineffizient bei großen Dateien. ZFS könnte mir genialst einen Snapshot pro Tag anlegen (jeweils vor dem Backup).
Frage 1: Ist ZFS uneingeschtänkt mit den erweiterten Attributen bzw. Posix ACLs kompatibel sodass ich transparent rsync von ext3/XFS über ssh auf ZFS machen könnte?
Frage 2: Problematisch ist die Verschlüsselung. Die Idee wäre eigentlich gewesen, die Volumes per iSCSI zu exportieren, auf dem Server zu mounten, darüber ein dmcrypt zu machen und darüber ext3. Dabei müsste der Schlüssel den Server nicht verlassen. Allerdings befürchte ich dass das mit den ZFS Snapshots nicht kompatibel sein wird oder?
Gibt es eine Lösung mit der ich sowohl verschlüsseln kann (Backup möglichst per iSCSI, auch aus Performancegründen!) als auch das Snapshotfeature von ZFS verwenden kann?
LG
divBis0
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 189235
Url: https://administrator.de/contentid/189235
Printed on: April 23, 2024 at 08:04 o'clock
4 Comments
Latest comment
Hallo ,
freeNAS ist ein auf freeBSD basierende Software.<-- also kein Linux.
Wenn Du Dich also mit bsd nicht auskennst oeffnest Du Dir ein ne wahnsinns Baustelle die es fertig zu stellen gilt.
Aber es lohnt sich auf jedenfall!!
http://de.wikipedia.org/wiki/FreeNAS
freeNAS supported kein xfs. <-- zumindest meine letzte info...
zu1) zu2) --> http://www.freenas.org/images/resources/freenas8.0.3/freenas8.0.3_guide ...
zu Deinen Ideen.
Ich wuerde hier Schritt fuer Schritt vorgehen.
1. freeNas auf ne Testmoehre installieren und mit der Konfiguration rumspielen , zerschiessen was weis der Geier.
aber im Grunde gibt die guide alles her was Du brauchst.
Ich werde mir das aber auch mal genauer anschauen, da wir auch wieder ein NAS am start bringen wollen.
Nur mit der fehlenden xfs Unterstuetzung muss ich nochmals schauen...
Gruss und viel Erfolg dabei!
freeNAS ist ein auf freeBSD basierende Software.<-- also kein Linux.
Wenn Du Dich also mit bsd nicht auskennst oeffnest Du Dir ein ne wahnsinns Baustelle die es fertig zu stellen gilt.
Aber es lohnt sich auf jedenfall!!
http://de.wikipedia.org/wiki/FreeNAS
freeNAS supported kein xfs. <-- zumindest meine letzte info...
zu1) zu2) --> http://www.freenas.org/images/resources/freenas8.0.3/freenas8.0.3_guide ...
zu Deinen Ideen.
Ich wuerde hier Schritt fuer Schritt vorgehen.
1. freeNas auf ne Testmoehre installieren und mit der Konfiguration rumspielen , zerschiessen was weis der Geier.
aber im Grunde gibt die guide alles her was Du brauchst.
Ich werde mir das aber auch mal genauer anschauen, da wir auch wieder ein NAS am start bringen wollen.
Nur mit der fehlenden xfs Unterstuetzung muss ich nochmals schauen...
Gruss und viel Erfolg dabei!
Hallo divBis:
Du könntest es Deine Snapshots z.B. mit LVM machen. Mit dem Microsoerver und einem selbst aufgesetzten debian soltle das kein Problem sein.
lks
Du könntest es Deine Snapshots z.B. mit LVM machen. Mit dem Microsoerver und einem selbst aufgesetzten debian soltle das kein Problem sein.
lks
Hi,
Ja genau das weiss ich ja. Und dass es XFS & Co nicht unterstützt ist mir auch klar, darum gehts auch nicht.
Es geht darum, ob ich mit rsync alle Daten + Metainformationen nach ZFS bringe.
Aber wie ich mittlerweile glaube sollte das kein Problem sein, denn beide sind POSIX kompatibel und können mit x-attrs und ACLs umgehen.
In der zweiten Frage geht es darum ob ich mit ZFS auch Blockdevices exportieren per iSCSI exportieren kann und danach snap-shoten.
Nach meiner derzeitigen Recherche sollte auch das möglich sein, JUHUUUU! Zuerst werden aus den physischen Platten ein großes Volume erzeugt, in meinem Fall 4x2TB Platten in RAIDz1 (=RAID5), ergibt 6TB netto. Darauf kann ich dann ZFS Volumes erstellen (zvols) die ich 1:1 per iSCSI exportieren kann. Lt. meiner Recherche ist es möglich, direkt davon Snapshots zu erstellen!
Auf die exportiererten iSCSI Volumes kommt zuerst dmcrypt drauf und dann z.B. ext3.
Ja genau das weiss ich ja. Und dass es XFS & Co nicht unterstützt ist mir auch klar, darum gehts auch nicht.
Es geht darum, ob ich mit rsync alle Daten + Metainformationen nach ZFS bringe.
Aber wie ich mittlerweile glaube sollte das kein Problem sein, denn beide sind POSIX kompatibel und können mit x-attrs und ACLs umgehen.
In der zweiten Frage geht es darum ob ich mit ZFS auch Blockdevices exportieren per iSCSI exportieren kann und danach snap-shoten.
Nach meiner derzeitigen Recherche sollte auch das möglich sein, JUHUUUU! Zuerst werden aus den physischen Platten ein großes Volume erzeugt, in meinem Fall 4x2TB Platten in RAIDz1 (=RAID5), ergibt 6TB netto. Darauf kann ich dann ZFS Volumes erstellen (zvols) die ich 1:1 per iSCSI exportieren kann. Lt. meiner Recherche ist es möglich, direkt davon Snapshots zu erstellen!
Auf die exportiererten iSCSI Volumes kommt zuerst dmcrypt drauf und dann z.B. ext3.
Hmm, mit diesen arbeite ich bereits, allerdings nur um mir während eines rsync-Backups ein konsistentes Dateisystem zu erstellen.
So zur Copy-On-Write Archivierung wie bei ZFS eignet sich LVM ja nicht oder?
Mit geht es darum, vor dem Backup einen Snapshot zu erstellen und dann für jeden Tag eine Version zu haben. Speicherplatz wird nur für die Blöcke verwendet, die sich seit dem letzten Snapshot geändert haben. Ist die Platte voll, kann ich beginnen gewisse Snapshots zu löschen. Ausserdem kann ich mit "zsf send" ein oder mehrere zusammenhängende Snapshots per ssh auf andere Rechner sichern oder (so hoffe ich) auch als weiteres Backup auf eine externe Platte.
Wie ich es verstanden habe macht das ZFS problemlos.
Bei LVM dachte ich bisher nicht dass es für das geeignet wäre.
PS: Der MicroServer wirds jetzt definitiv! Danke für den Tipp, super Teil! Nach derzeitigem Stand aber FreeNAS wegen ZFS. Das wollte ich schon immer. Falls es zu Problemen kommt werde ich auf das konventionelle Debian mit LVM und SW RAID umschwenken
So zur Copy-On-Write Archivierung wie bei ZFS eignet sich LVM ja nicht oder?
Mit geht es darum, vor dem Backup einen Snapshot zu erstellen und dann für jeden Tag eine Version zu haben. Speicherplatz wird nur für die Blöcke verwendet, die sich seit dem letzten Snapshot geändert haben. Ist die Platte voll, kann ich beginnen gewisse Snapshots zu löschen. Ausserdem kann ich mit "zsf send" ein oder mehrere zusammenhängende Snapshots per ssh auf andere Rechner sichern oder (so hoffe ich) auch als weiteres Backup auf eine externe Platte.
Wie ich es verstanden habe macht das ZFS problemlos.
Bei LVM dachte ich bisher nicht dass es für das geeignet wäre.
PS: Der MicroServer wirds jetzt definitiv! Danke für den Tipp, super Teil! Nach derzeitigem Stand aber FreeNAS wegen ZFS. Das wollte ich schon immer. Falls es zu Problemen kommt werde ich auf das konventionelle Debian mit LVM und SW RAID umschwenken
