11
Schnelle Robocopy-Alternative gesucht
Hallo!
Ich spiegle jeden Tag die Daten eines Servers (Windows 2016) auf ein anderes System (Windows 2012 R2), um dort alles auf ein Band zu sichern.
--> VSS-Snapshot --> Robocopy Server auf Backup-Maschine
Leider produziert die Anwendung, die die Daten auf dem Server ablegt UNMENGEN Unterordner.
Bisher nutze ich dafür Robocopy, aber der Job läuft inzwischen 6 Stunden für 3 TB Daten. Dabei sind nicht die veränderten Daten, sondern die unveränderten Daten das große Problem. Bei jedem Ordner dauert es lange, bis Robocopy überhaupt merkt, dass nichts zu tun ist.
Könnt ihr mir eine gute Alternative empfehlen, die den Vergleich vielleicht schneller hinbekommt?
Danke und Grüße
Phil
Ich spiegle jeden Tag die Daten eines Servers (Windows 2016) auf ein anderes System (Windows 2012 R2), um dort alles auf ein Band zu sichern.
--> VSS-Snapshot --> Robocopy Server auf Backup-Maschine
Leider produziert die Anwendung, die die Daten auf dem Server ablegt UNMENGEN Unterordner.
Bisher nutze ich dafür Robocopy, aber der Job läuft inzwischen 6 Stunden für 3 TB Daten. Dabei sind nicht die veränderten Daten, sondern die unveränderten Daten das große Problem. Bei jedem Ordner dauert es lange, bis Robocopy überhaupt merkt, dass nichts zu tun ist.
Könnt ihr mir eine gute Alternative empfehlen, die den Vergleich vielleicht schneller hinbekommt?
Danke und Grüße
Phil
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 369536
Url: https://administrator.de/contentid/369536
Printed on: April 24, 2024 at 19:04 o'clock
11 Comments
Latest comment
Moin,
Dein Problem ist das auflisten der Verzeichnisse primär remote.
Bei vielen Dateien und Verzeichnissen dauert das recht lange.
Das gilt für SMB, NFS und besonders für FTP.
A) Eine Client-Server-Software
Damit muss der Client nicht mehr jedes Verzeichnis per Remote anfragen, sondern bekommt eine Liste aller Verzeichnisse.
Rsync wäre so ein Kandidat.
B) Der Sync-Client weiß was auf der Serverseite ist und gleicht das nicht vorher ab.
Dann müßte er nur die Änderungen durchführen.
Ist aber auch riskant, da sich damit Abweichungen einschleichen könnten.
Dazu gibt es viele Sync-Clients mit lokaler Datenbank. Einen Namen habe ich leider nicht zur Hand.
C) Eine richtige Backupsoftware
Die erstellt Dir wenige große Dateien, Du bekommst noch ein Protokoll und hast einen Plan für das Desasterrecovery wenn Server A nicht mehr bootet.
Stefan
Dein Problem ist das auflisten der Verzeichnisse primär remote.
Bei vielen Dateien und Verzeichnissen dauert das recht lange.
Das gilt für SMB, NFS und besonders für FTP.
A) Eine Client-Server-Software
Damit muss der Client nicht mehr jedes Verzeichnis per Remote anfragen, sondern bekommt eine Liste aller Verzeichnisse.
Rsync wäre so ein Kandidat.
B) Der Sync-Client weiß was auf der Serverseite ist und gleicht das nicht vorher ab.
Dann müßte er nur die Änderungen durchführen.
Ist aber auch riskant, da sich damit Abweichungen einschleichen könnten.
Dazu gibt es viele Sync-Clients mit lokaler Datenbank. Einen Namen habe ich leider nicht zur Hand.
C) Eine richtige Backupsoftware
Die erstellt Dir wenige große Dateien, Du bekommst noch ein Protokoll und hast einen Plan für das Desasterrecovery wenn Server A nicht mehr bootet.
Stefan
Hi,
na wenn beides Windows Server sind, warum spiegelst Du dann nicht gleich mit DFS-R?
E.
na wenn beides Windows Server sind, warum spiegelst Du dann nicht gleich mit DFS-R?
E.
Theoretisch wäre da Veeam geeignet.
Die Geschwindigkeit kann ich da aber nicht einschätzen.
Die Geschwindigkeit kann ich da aber nicht einschätzen.
Hallo,
bevorzugte Variante wäre DFS-R.
Aber Allway Sync als Alternative wäre das was?
Leicht verständliches Tool und für einfachen gebrauch Top. Habe es bei großer Datenmengen zum Abgleich auch schon eingesetzt.
Gruß
bevorzugte Variante wäre DFS-R.
Aber Allway Sync als Alternative wäre das was?
Leicht verständliches Tool und für einfachen gebrauch Top. Habe es bei großer Datenmengen zum Abgleich auch schon eingesetzt.
Gruß
Hallo Phil,
du brauchst keine Alternative zu Robocopy, sondern einfach ein ordentliches Backuptool. Wichtig wäre auch das Delta. Abgesehen davon sind 3TB nun auch nicht wenig.
VG
du brauchst keine Alternative zu Robocopy, sondern einfach ein ordentliches Backuptool. Wichtig wäre auch das Delta. Abgesehen davon sind 3TB nun auch nicht wenig.
VG
Hallo!
DFS-R fällt leider raus. Auf dem Server liegt auch eine Datenbank. Ich brauche alle Dateien zum gleiche Zeitpunkt - deswegen der Snapshot.
AllwaySync schaue ich mir nochmal an. Rsync in Form von Deltacopy habe ich im Einsatz, aber es kann leider keine Berechtigungen kopieren. Das ist unschön, aber hier vielleicht das kleinste Übel...
Grüße
DFS-R fällt leider raus. Auf dem Server liegt auch eine Datenbank. Ich brauche alle Dateien zum gleiche Zeitpunkt - deswegen der Snapshot.
AllwaySync schaue ich mir nochmal an. Rsync in Form von Deltacopy habe ich im Einsatz, aber es kann leider keine Berechtigungen kopieren. Das ist unschön, aber hier vielleicht das kleinste Übel...
Grüße
Schon versucht Robocopy selbst Beine zu machen?
der besitzt einen Multithreaded Parameter:
Dieser läuft mit einem Standardwert von 8 - du kannst ihn aber bis zu 128 hochschrauben - wobei mehr nicht unbedingt besser ist, da man dann viel random I/O Load auf der Platte/Storagesystem erzeugt.
Aber teste mal ein hochsetzen auf z.B. 32 oder so. Kann durchaus die Kopierzeit halbieren.
der besitzt einen Multithreaded Parameter:
/MTAber teste mal ein hochsetzen auf z.B. 32 oder so. Kann durchaus die Kopierzeit halbieren.
1
Hi,
wir hatten mit einem anderen Produkt auch Probleme, sodass die Sicherung 22 Uhr aus der Vornacht sich bis zum nächsten Vormittag hinzog.
Jetzt läuft VEEAM und sichert den Hyper-V (Fileserver und Exchange). Der Gesamtdatenbestand ist 2,7 TB. Gestern wurde für die Differenz 47 GB gelesen und für die Verarbeitung hat das System 57 Minuten benötigt.
Klaus
wir hatten mit einem anderen Produkt auch Probleme, sodass die Sicherung 22 Uhr aus der Vornacht sich bis zum nächsten Vormittag hinzog.
Jetzt läuft VEEAM und sichert den Hyper-V (Fileserver und Exchange). Der Gesamtdatenbestand ist 2,7 TB. Gestern wurde für die Differenz 47 GB gelesen und für die Verarbeitung hat das System 57 Minuten benötigt.
Klaus
wobei mehr nicht unbedingt besser ist
Doch. Besonders bei Differenzkopien macht sich das extrem bemerkbar.Die erste Kopie dauert zwangsläufig länger, weil er alles kopieren muss. Bei nachfolgenen Differenzkopien muss er aber erstmal checken, was sich geändert hat. Und wenn er das in mehreren Threads durchführt (ich mach sowas auch mit 64 und mehr), dann geht dies irre schnell. Man sollte hier bloß ein Log schreiben lassen (ohne Konsolenausgabe), weil das schneller geht, als wenn er aus diesen mehreren Threads auf die Konsole schreiben muss.
Hallo,
vielleicht hilft Dir ViceVersa etwas. Wobei bei den Datenmengen tendiere ich auch zu DFS-R.
Gruss Penny.
vielleicht hilft Dir ViceVersa etwas. Wobei bei den Datenmengen tendiere ich auch zu DFS-R.
Gruss Penny.
Zitat von @NetzwerkDude:
Schon versucht Robocopy selbst Beine zu machen?
der besitzt einen Multithreaded Parameter:
Dieser läuft mit einem Standardwert von 8 - du kannst ihn aber bis zu 128 hochschrauben - wobei mehr nicht unbedingt besser ist, da man dann viel random I/O Load auf der Platte/Storagesystem erzeugt.
Aber teste mal ein hochsetzen auf z.B. 32 oder so. Kann durchaus die Kopierzeit halbieren.
Schon versucht Robocopy selbst Beine zu machen?
der besitzt einen Multithreaded Parameter:
/MTAber teste mal ein hochsetzen auf z.B. 32 oder so. Kann durchaus die Kopierzeit halbieren.
Hallo!
Das hilft enorm. Danke für den Tipp!!
1
