13
Suche Tool zum Syncronisieren von NAS Datenlaufwerken
Hallo zusammen.
Das Daten syncronisieren von NAS-Datenlaufwerken dauert zu lange.
ca. 1TB Daten wo sich 3-10 GB täglich ändern die syncronisiert werden sollen.
Bin nun auf der Suche nach einer besseren Software, da die alte dafür im Durchschnitt 20 Stunden braucht.
Bisher nutzte ich viceversa pro. http://www.tgrmn.com/
Dieses Tool ist eindeutig zu langsam, was es fehleranfällig macht.
Einlesen von NAS-Datenlaufwerk 1 und vergleichen mit NAS-Datenlaufwerk 2 dauert mal eben 2-4 Stunden.
Das syncronisieren selbst auch noch mal 10-20 Stunden. (im lokalen GB-LAN) Die Differenzdaten wären so 3-10 GB pro Tag.
Bis alles durchgelaufen ist sind schnell mal 10-20 Stunden um. Bis dahin hat sich viel verändert
Der vergleich der Datensätze erfolgt etwas unglücklich.
Erst werden alle Daten von dem NAS 1 (ca. 600.000 Dateien) eingelesen. Dann die Daten auf dem NAS 2. Jetzt erst erfolgt der vergleich der Datensätze.
Nach den vielen Stunden beginnt erst die Kopieraktion von 10-20 Stunden
Ich denke mal das es so lahmt liegt daran das die Software (installiert auf einem Win 2K3 Server) erst die Daten File für File zu sich holt und dann auf das 2. NAS schreibt statt direkt.
Eigentlich ist die Datenmenge nicht so groß was pro Tag geändert oder erzeugt wird.
Daher sollte eine weitere Syncronisation (NAS-Datenlaufwerk 3 ) über eine VPN Leitung prinzipiel möglich sein.
Optimal wäre ein Tool welches:
- Ordnerweise vergleicht und schreibt /syncronisiert.
- Skalierbar in der Bandbreite ist (wegen der 2. Syncronisation über die Standleitung)
- Zeit/Datumsstempel nutzt zum vergleich.
- Dateipfade und Namen von mehr als 256 Zeichen unterstützt.
Nice to have
- wenn es die NTFS Rechtestruktur mit übertragen kann.
- Auf dem Sycronisiertem Laufwerk die geänderten in einen "Papierkorb" erst ablegt.
Hat jemand einen Vorschlag? Vorzugsweise ein Tool was wirklich mit den Mengen umgehen kann.
In der Theorie und den Produktbeschreibungen können es viele
Gruß Nex
Dieses Tool ist eindeutig zu langsam, was es fehleranfällig macht.
Einlesen von NAS-Datenlaufwerk 1 und vergleichen mit NAS-Datenlaufwerk 2 dauert mal eben 2-4 Stunden.
Das syncronisieren selbst auch noch mal 10-20 Stunden. (im lokalen GB-LAN) Die Differenzdaten wären so 3-10 GB pro Tag.
Bis alles durchgelaufen ist sind schnell mal 10-20 Stunden um. Bis dahin hat sich viel verändert
Der vergleich der Datensätze erfolgt etwas unglücklich.
Erst werden alle Daten von dem NAS 1 (ca. 600.000 Dateien) eingelesen. Dann die Daten auf dem NAS 2. Jetzt erst erfolgt der vergleich der Datensätze.
Nach den vielen Stunden beginnt erst die Kopieraktion von 10-20 Stunden
Ich denke mal das es so lahmt liegt daran das die Software (installiert auf einem Win 2K3 Server) erst die Daten File für File zu sich holt und dann auf das 2. NAS schreibt statt direkt.
Eigentlich ist die Datenmenge nicht so groß was pro Tag geändert oder erzeugt wird.
Daher sollte eine weitere Syncronisation (NAS-Datenlaufwerk 3 ) über eine VPN Leitung prinzipiel möglich sein.
Optimal wäre ein Tool welches:
- Ordnerweise vergleicht und schreibt /syncronisiert.
- Skalierbar in der Bandbreite ist (wegen der 2. Syncronisation über die Standleitung)
- Zeit/Datumsstempel nutzt zum vergleich.
- Dateipfade und Namen von mehr als 256 Zeichen unterstützt.
Nice to have
- wenn es die NTFS Rechtestruktur mit übertragen kann.
- Auf dem Sycronisiertem Laufwerk die geänderten in einen "Papierkorb" erst ablegt.
Hat jemand einen Vorschlag? Vorzugsweise ein Tool was wirklich mit den Mengen umgehen kann.
In der Theorie und den Produktbeschreibungen können es viele
Gruß Nex
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 133795
Url: https://administrator.de/contentid/133795
Printed on: April 20, 2024 at 02:04 o'clock
13 Comments
Latest comment
Hallo,
da linux wohl rsync?
da linux wohl rsync?
Wenn Ihr einen Windows Server habt, könnt ihr ein DFS einrichten, da habt ihr Bandbreitenmanagement und es repliziert in beide Richtungen!
Microsoft Distributed File System
Gruß
Kim
Microsoft Distributed File System
Gruß
Kim
Ich verwende ROBOCOPY für diesen Zweck und bin damit sehr zufrieden.
ErdNageL
ErdNageL
Hallo,
danke erst mal für die raschen Antworten.
Der Hauptspeicher ist ein NAS wo als OS Debian läuft. Im Gerät befindet sich ein USB Modul, welches den NAS Dienst bereit stellt (Open-E) http://www.open-e.com/
Von daher lass ich mal die Finger von dem System Nicht weil ein Linux darauf läuft, sondern weil das Linux nur zum Booten und unterstützen des Open-E Software genutzt wird.
Das 2. NAS ist ein im lokalen Netzwerk stehendes System von Buffalo (Schlichtes Gerät, 2TB kappazität, Weboberfläche mit der option das ADS einzulesen, und ein GigaBit LAN anschluss)
Das 3. NAS steht in dem anderen Standort als I-SCSI eingebundes Gerät an dem lokalen Server.
Es wäre aber auch ein andes Gerät an dem Standort für die Syncronisation nutzbar (wie NAS 2)
Ach ja, Windows Server (alle Win 2K3) haben wir,
Mit dem DFS habe ich bisher nichts gemacht.
Geht das auch mit Externen Speichern / Netzfreigaben wie dem NAS?
Kopiert jemand z.B. 5 G-Byte Daten von seinem Laptop an dem Standort auf den Speicher
Ist dann die Leitung tot ?
Robocopy wäre etwas aufwendig um alles zu konfigurieren (was wohin mit den rechten Änderungen und der Berücksichtigung der Bandbreite)
Oder täusche ich mich da?
Gruß Nex
danke erst mal für die raschen Antworten.
Der Hauptspeicher ist ein NAS wo als OS Debian läuft. Im Gerät befindet sich ein USB Modul, welches den NAS Dienst bereit stellt (Open-E) http://www.open-e.com/
Von daher lass ich mal die Finger von dem System
Nicht weil ein Linux darauf läuft, sondern weil das Linux nur zum Booten und unterstützen des Open-E Software genutzt wird.Das 2. NAS ist ein im lokalen Netzwerk stehendes System von Buffalo (Schlichtes Gerät, 2TB kappazität, Weboberfläche mit der option das ADS einzulesen, und ein GigaBit LAN anschluss)
Das 3. NAS steht in dem anderen Standort als I-SCSI eingebundes Gerät an dem lokalen Server.
Es wäre aber auch ein andes Gerät an dem Standort für die Syncronisation nutzbar (wie NAS 2)
Ach ja, Windows Server (alle Win 2K3) haben wir,
Mit dem DFS habe ich bisher nichts gemacht.
Geht das auch mit Externen Speichern / Netzfreigaben wie dem NAS?
Kopiert jemand z.B. 5 G-Byte Daten von seinem Laptop an dem Standort auf den Speicher
Ist dann die Leitung tot ?
Robocopy wäre etwas aufwendig um alles zu konfigurieren (was wohin mit den rechten Änderungen und der Berücksichtigung der Bandbreite)
Oder täusche ich mich da?
Gruß Nex
Hallo Nex,
ich finde nicht das Robocopy zu aufwendig ist.
Allerdings, da hast du Recht, muss man sich erst einmal in das Thema einlesen und ausführliche Test durchführen
bevor man sich an das Produktivsystem trauen sollte.
Robocopy ist extrem schnell und es stehen viele Schalter zur Verfügung um Deine Wünsche umzusetzen.
Ich setze Robocopy wegen seiner hohen Geschwindigkeit und seiner Stabilität ein. Kostenlos ist es natürlich auch.
Mit Buffalo Hardware habe ich im Firmenkundenbereich keine Erfahrung.
Tschö
ErdNageL
ich finde nicht das Robocopy zu aufwendig ist.
Allerdings, da hast du Recht, muss man sich erst einmal in das Thema einlesen und ausführliche Test durchführen
bevor man sich an das Produktivsystem trauen sollte.
Robocopy ist extrem schnell und es stehen viele Schalter zur Verfügung um Deine Wünsche umzusetzen.
Ich setze Robocopy wegen seiner hohen Geschwindigkeit und seiner Stabilität ein. Kostenlos ist es natürlich auch.
Mit Buffalo Hardware habe ich im Firmenkundenbereich keine Erfahrung.
Tschö
ErdNageL
open-e unterstützt doch rsync, wo ist nun das Problem? Du synchronisierst doch wohl nicht über einen per Netzwerk angebundenen Windowssrechner?!? Wenn ja, dann nicht gut. Lies Dir mal die open-e Dokumentation durch.
Gruß, Arch Stanton
Gruß, Arch Stanton
Hallo Arch
Open-E lässt zu das man mit rsync zugreifen kann. Mehr nicht.
Eigene Spiegelung von Open-E gibt es da nur, wenn man 2 Open-E Server hat.
Ja ich nutze Windowsrechner ^^
Es wäre etwas über das Ziel hinaus wenn man nur für eine Spiegelung einen extra Server / Rechner mit Linux bereitstellen will / müsste.
Windows kann das ja auch Nur eine Frage der Software.
Meine Symantec Backup Software auf einem Windows Server zieht ja die Daten 20X schnelle wie mein Sync. Tool.
Daher gilt es das Sync Tool (oder Verfahren) zu wechseln.
Gruß Nex
Open-E lässt zu das man mit rsync zugreifen kann. Mehr nicht.
Eigene Spiegelung von Open-E gibt es da nur, wenn man 2 Open-E Server hat.
Ja ich nutze Windowsrechner ^^
Es wäre etwas über das Ziel hinaus wenn man nur für eine Spiegelung einen extra Server / Rechner mit Linux bereitstellen will / müsste.
Windows kann das ja auch
Nur eine Frage der Software.Meine Symantec Backup Software auf einem Windows Server zieht ja die Daten 20X schnelle wie mein Sync. Tool.
Daher gilt es das Sync Tool (oder Verfahren) zu wechseln.
Gruß Nex
Hallo,
wenn auf der Kste debian läuft, dann läuft doch auch rsync?
und wenn dir das nicht einfach genug ist, dann nimm eins davon
http://www.debianhelp.co.uk/rsyncweb.htm
wenn auf der Kste debian läuft, dann läuft doch auch rsync?
und wenn dir das nicht einfach genug ist, dann nimm eins davon
http://www.debianhelp.co.uk/rsyncweb.htm
Moin
Hatte ich oben schon beschrieben.
liegt an Open-E das ich da nicht rumfingere.
Wäre es eine einache Freigabe auf einem Linux Fileserver wäre ich dabei
Gruß Nex
Hatte ich oben schon beschrieben.
liegt an Open-E das ich da nicht rumfingere.
Wäre es eine einache Freigabe auf einem Linux Fileserver wäre ich dabei
Gruß Nex
wenn Du über einen dritten Rechner synchronisierst, müssen die Daten immer über diesen Knecht kopiert werden, also doppelt und dreifach.
Gruß, Arch Stanton
Gruß, Arch Stanton
Das ist klar.
Z.B. Die Symantec Backup Exec Software schafft es ja auch mit einer akzeptablen Geschwindigkeit. 60MB /Sec (WEnn es über den 3. geht)
Das Viceversa pro barauch 20 X so lange. (3MB /sec)
Optimal wäre .... schön
Es müssen aber 2-3 NAS gespiegelt werden und die aktuelle Software ist ungünstig.
Das mit dem DFS habe ich mir mal angesehen. im Prinziep wäre das schon die "Lösung"
NMur konnte ich da nichtg herrausfinden ob man eine NAS dafür nutzen kann. Oder ob es nur LAufwerken in den Servern geht.
Gruß Nex
Z.B. Die Symantec Backup Exec Software schafft es ja auch mit einer akzeptablen Geschwindigkeit. 60MB /Sec (WEnn es über den 3. geht)
Das Viceversa pro barauch 20 X so lange. (3MB /sec)
Optimal wäre .... schön
Es müssen aber 2-3 NAS gespiegelt werden und die aktuelle Software ist ungünstig.
Das mit dem DFS habe ich mir mal angesehen. im Prinziep wäre das schon die "Lösung"
NMur konnte ich da nichtg herrausfinden ob man eine NAS dafür nutzen kann. Oder ob es nur LAufwerken in den Servern geht.
Gruß Nex
Hi!
Die Bremse liegt im System selbst nicht unbedingt an der Software - mit Buffalo hast du nicht viel gewonnen, es besitzt zwar ein Gigabitanschluss nur ist die Hardware selbst dafür zu klein ausgelegt. Die Transferraten sind nur mäßig.
Wir haben Buffalo aus gleichem Grund rausgeschmissen und sind auf QNAP umgestiegen.
Schau mal bei Google mit den Begriffen "Buffalo langsam" und du wirst überschüttet mit Beiträgen.
Gruß!
Chris
Die Bremse liegt im System selbst nicht unbedingt an der Software - mit Buffalo hast du nicht viel gewonnen, es besitzt zwar ein Gigabitanschluss nur ist die Hardware selbst dafür zu klein ausgelegt. Die Transferraten sind nur mäßig.
Wir haben Buffalo aus gleichem Grund rausgeschmissen und sind auf QNAP umgestiegen.
Schau mal bei Google mit den Begriffen "Buffalo langsam" und du wirst überschüttet mit Beiträgen.
Gruß!
Chris
Moin Chris,
Die Buffalos (die Modelle die ich einsetze) sind nicht zu langsam. Klar ist Buffallo günstig, aber als Ablage völlig ausreichend.
Das große Kopierproblem bzw. der geringe Durchsatz habe ich auch zwischen 2 Dell Pro Liant oder den HP Server(n)
Die Software benötigt schon Stunden lokal zum prüfen / erfassen was syncronisiert werden soll. Daher sind die Büffelplatten hier mal unschuldig
Gruß Nex
Die Buffalos (die Modelle die ich einsetze) sind nicht zu langsam. Klar ist Buffallo günstig, aber als Ablage völlig ausreichend.
Das große Kopierproblem bzw. der geringe Durchsatz habe ich auch zwischen 2 Dell Pro Liant oder den HP Server(n)
Die Software benötigt schon Stunden lokal zum prüfen / erfassen was syncronisiert werden soll. Daher sind die Büffelplatten hier mal unschuldig
Gruß Nex
