Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

gelöst Tool zum synchronisieren von Daten über das Internet gesucht (Client - Server)

Mitglied: StefanKittel

StefanKittel (Level 4) - Jetzt verbinden

28.11.2008, aktualisiert 29.11.2008, 6517 Aufrufe, 16 Kommentare

Hallo,

ich suche ein Tool um größere Datenbestände über das Internet zu synchronisieren zu können.

Auf beiden Seiten läuft ein Windows Server mit ADSL und fester IP.

Die Datenmenge beträgt ca. 8 GB mit 300.000 Dateiein.
Dabei ändern sich aber nur ca. 50 Dateiein mit 5 MB (die gepackt 500KB groß sind).

Ich habe schon verschiedenes über FTP und Co probiert, aber allein der Ableich dauert dort Stunden bis Tage.

RSync und Co sollen nicht zum Einsatz kommen (nicht meine Entscheidung).

Das ganze darf auch was kosten.

Eigentlich müßte das Programm ja "nur"
- auf beiden Servern eine Liste erstellen
- auf dem Remote diese Liste komprimieren
- die Listen vergleich
- die geänderten Dateien komprimieren, übertragen und entpacken

Ich habe aber gar nichts in der Form im Internet gefunden.
Ich nichts im professionellen Bereich.

Ist das ne Marktlücke oder übersehe ich da was.

Für mich Interessehalber: könnte rsync das (vor allem das mit dem komprimieren?)

Danke

Stefan
Mitglied: sysad
28.11.2008 um 23:36 Uhr
rsync macht das gut, aber es komprimiert m.W. nicht.
Bitte warten ..
Mitglied: n.o.b.o.d.y
29.11.2008 um 00:38 Uhr
Hallo,

schon mal über Terminalserver/Citrix nachgedacht?
Bitte warten ..
Mitglied: dog
29.11.2008 um 02:58 Uhr
Windows Server können sich mit dem DFS von Haus aus synchronisieren, wenn Sie in einer Domäne sind.
Dann solltest du aber ein Site-to-Site-VPN benutzen.

Grüße

Max
Bitte warten ..
Mitglied: StefanKittel
29.11.2008 um 09:00 Uhr
Zitat von n.o.b.o.d.y:
schon mal über Terminalserver/Citrix nachgedacht?
Ja, funktioniert in diesem Fall aber nicht da die Software nicht TS fähig ist (NEXT sei dank)
Bitte warten ..
Mitglied: StefanKittel
29.11.2008 um 09:01 Uhr
Zitat von dog:
Windows Server können sich mit dem DFS von Haus aus
synchronisieren, wenn Sie in einer Domäne sind.
Dann solltest du aber ein Site-to-Site-VPN benutzen.
DFS ist leider kaum schneller als ein FTP Sync
Bitte warten ..
Mitglied: n.o.b.o.d.y
29.11.2008 um 10:40 Uhr
Hallo,

hab eben mal geschaut, selbst robocopy kann nicht komprimieren.
Aber bei 5 MB Änderungsvolumen am Tag (?) brauchst Du doch keine Komprimierung, das sollte doch auch über ADSL gehen.
Oder sollen wir das wirklich so verstehen, dass Du erstmal die ganzen 8 GB über die Leitung pusten willst?
Bitte warten ..
Mitglied: sysad
29.11.2008 um 10:40 Uhr
Zitat von StefanKittel:
> Zitat von n.o.b.o.d.y:
> schon mal über Terminalserver/Citrix nachgedacht?
Ja, funktioniert in diesem Fall aber nicht da die Software nicht TS
fähig ist (NEXT sei dank)

Dann wird es schwierig bis unmöglich. Wir verwenden i.d.R. auch TS wo immer es geht, weil durch das RDP die Datenmenge, die auf Reisen geht, sehr gering ist (manchmal muss man MS auch loben, das haben sie gut hingekriegt).
Früher gab es Modeme, die haben automatisch komprimiert. Vielleicht gibt es ja so was auch für Netzwerkkarten.
Bitte warten ..
Mitglied: StefanKittel
29.11.2008 um 12:30 Uhr
Zitat von n.o.b.o.d.y:
hab eben mal geschaut, selbst robocopy kann nicht komprimieren.
Aber bei 5 MB Änderungsvolumen am Tag (?) brauchst Du doch keine
Komprimierung, das sollte doch auch über ADSL gehen.
Oder sollen wir das wirklich so verstehen, dass Du erstmal die ganzen
8 GB über die Leitung pusten willst?
Das Problem ist nicht das übertragen. Sonder der Abgleich.
Per FTP dauert das (wenn die Verbindung nicht wieder mal abreist) ca 8 Stunden!
Die Menge der Dateien machts
Bitte warten ..
Mitglied: aqui
29.11.2008 um 13:53 Uhr
..wie bereits erwähnt: rsync sollte das machen oder das SyncToy von MS selber:
http://technet.microsoft.com/de-de/magazine/cc162483.aspx
Bitte warten ..
Mitglied: n.o.b.o.d.y
29.11.2008 um 14:13 Uhr
Hallo,

für den initialen Datenabgleich kann man die 8 GB doch sicher offline kopieren, oder?
Denn mit dem geringen upstream vom ADSL....

google ist dein "freund":
http://truemirror.schlichtherle.de/en/
Bitte warten ..
Mitglied: StefanKittel
29.11.2008 um 14:20 Uhr
Zitat von n.o.b.o.d.y:
für den initialen Datenabgleich kann man die 8 GB doch sicher
offline kopieren, oder?
Denn mit dem geringen upstream vom ADSL....
klar...

google ist dein "freund":
http://truemirror.schlichtherle.de/en/
setzt ein Netzwerklaufwerk vorraus -> abgleich wird wieder schweinelangsam sein (so wie netzwerklaufwerke mit vpn)
Bitte warten ..
Mitglied: sysad
29.11.2008 um 14:42 Uhr
Zitat von aqui:
..wie bereits erwähnt: rsync sollte das machen oder das
SyncToy von MS selber:
http://technet.microsoft.com/de-de/magazine/cc162483.aspx


SyncToy hat mir schon zweimal beide Datenbestände gelöscht, wenn die Netzverbindung instabil war. Ich verwende das nur noch bei stabiler Kabelverbindung. Ich denke auch, dass SyncToy irgendwie bei rsync abgekupfert ist.
Bitte warten ..
Mitglied: n.o.b.o.d.y
29.11.2008 um 22:07 Uhr
Zitat von sysad:

Ich denke auch, dass SyncToy irgendwie bei
rsync abgekupfert ist.

m.W. nach ist das schlicht eine GUI von MS für robocopy.
Bitte warten ..
Mitglied: StefanKittel
21.12.2008 um 00:47 Uhr
Hallo,

ich halte mal fest, dass es anscheinend für das von mir beschriebene Szenarion kein Programm gibt. Weder Freeware noch Kommerziell.
Selbst rsync braucht ewig für den Abgleich. Es müssen ja nur wenige MB kopiert werden. Aber welche von den 300.000 Dateien...

Ich habe mal ein working Sample erstellt.
Das braucht für diesen Abgleich ca. 17 Sekunden und ist beim kopieren sogar schneller als rsync.

Wenn ich mal Zeit habe überlege ich das fertig zu programmieren.

Stefan
Bitte warten ..
Mitglied: sysad
21.12.2008 um 12:32 Uhr
Zitat von StefanKittel:
Hallo,

ich halte mal fest, dass es anscheinend für das von mir
beschriebene Szenarion kein Programm gibt. Weder Freeware noch
Kommerziell.
Selbst rsync braucht ewig für den Abgleich. Es müssen ja
nur wenige MB kopiert werden. Aber welche von den 300.000 Dateien...

Wenn erst mal der initiale Vollsync gelaufen ist macht Rsync das extrem schnell, jedenfalls bei mir. Was dauert ist die erstmalige 1:1 Kopie. Die würde ich w.o. beschrieben auch nicht mit Rsync machen sondern physisch, wenn möglich.


Ich habe mal ein working Sample erstellt.
Das braucht für diesen Abgleich ca. 17 Sekunden und ist beim
kopieren sogar schneller als rsync.

Schön, aber als IT-Vernatwortlicher würde ich nur ausnahmsweise eine Bastellösung nehmen, weil ich nicht weiss, wer das für wie lange warten wird.
Bitte warten ..
Mitglied: StefanKittel
21.12.2008 um 12:36 Uhr
Zitat von sysad:
Wenn erst mal der initiale Vollsync gelaufen ist macht Rsync das
extrem schnell, jedenfalls bei mir.
Bei welcher Datenmenge (primär Anzahl der Dateien) und welcher Verbindung?
Bei mir sind es ca. 300.000 und auf jeder Seite einen DSL 16.000 mit Fastpath

Zitat von sysad:
Was dauert ist die erstmalige 1:1
Kopie. Die würde ich w.o. beschrieben auch nicht mit Rsync machen
sondern physisch, wenn möglich.
Ja. Das lasse ich bei meiner Betrachtung auch aussen vor

Zitat von sysad:
Schön, aber als IT-Vernatwortlicher würde ich nur
ausnahmsweise eine Bastellösung nehmen, weil ich nicht weiss, wer
das für wie lange warten wird.
Nee... das war nur für mich zum testen was technisch möglich ist.
Bitte warten ..
Ähnliche Inhalte
Windows Server

Kopier Tool Für die Server Migration (Daten) gesucht!

gelöst Frage von DeinLakaiWindows Server2 Kommentare

Hallo zusammen, hier mal eine Frage an die Gemeinde. Wir als kleines rückständiges Unternehmen werden in Bälde unsere MS2003er ...

Netzwerkgrundlagen

VPN-Server Client gesucht

Frage von lord-iconNetzwerkgrundlagen5 Kommentare

Hi, ich suche ein VPN-Tool der einige Anforderungen erfüllen soll. Bis dato habe ich leider noch nichts gefunden. Vorhaben: ...

E-Mail

IMAP mit Ordnern synchronisieren (Windows-Tool)

Frage von IllusionFACTORYE-Mail4 Kommentare

Hallo, zusammen, wir müssen im Rahmen eines Umzugs IMAP-Konten auf einen anderen Server umziehen, mit Unterordnern, aber ohne Kalender ...

Router & Routing

Server Konfiguration - Internet auf Clients

Frage von JinvsjackRouter & Routing4 Kommentare

Tach zusammen, ich hab folgende Fachfrage. Clients (Win 7) sind in einer Domäne über einen Server (DHCP, DNS, AD) ...

Neue Wissensbeiträge
Windows 10

Neue Sicherheitslücke in Windows 10 (Version 1709) durch Google öffentlich geworden

Information von kgborn vor 55 MinutenWindows 10

Vor ein paar Tagen haben Googles Sicherheitsforscher vom Projekt Zero eine Sicherheitslücke im Edge-Browser publiziert. Jetzt wurde eine weitere ...

iOS
IOS 11.2.6 verfügbar
Information von sabines vor 6 StundeniOS

Mit dem Update soll der Bug behoben werden, bei dem eine bestimmte Zeichenkette IOS zum Absturz gebracht hat.

Sicherheit
Sicherheitsrisiko: Die Krux mit 7-Zip
Information von kgborn vor 20 StundenSicherheit7 Kommentare

Bei vielen Anwendern ist das Tool 7-Zip zum Entpacken von Archivdateien im Einsatz. Die Software ist kostenlos und steht ...

Internet

Datendealing im WWW Tracking Methoden immer brutaler

Information von sabines vor 1 TagInternet

Interessanter Artikel zum Thema Tracking im WWW und die immer "besseren" Methoden des Trackings. Professor Arvind Narayanan (Princeton-Universität) betreibt ...

Heiß diskutierte Inhalte
Server
Route-Befehl Unterstützung (unter CMD)
gelöst Frage von FKRR56Server38 Kommentare

Guten Tag , i.M. habe ich Probleme über den CMD-Route-Befehl ein Routing auf einen entfernten Server zuzulassen. Der Server ...

Router & Routing
LANCOM VPN CLIENT einrichten
Frage von Finchen961988Router & Routing26 Kommentare

Hallo, ich habe ein Problem und hoffe ihr könnt mir helfen, wir haben einen Kunden der hat einen Speedport ...

LAN, WAN, Wireless
VPN Cisco ASA5505 PaloAlto PA-200
gelöst Frage von YannoschLAN, WAN, Wireless20 Kommentare

Hallo zusammen, ich würde gerne ein Site-to-Site VPN zwischen den beiden Standorten aufbauen. PaloAlto PA200 Internetanschluss Deutsche Telekom GK ...

Microsoft
TV-Tipp: Das Microsoft-Dilemma
Information von kgbornMicrosoft17 Kommentare

Aktuell gibt es in Behörden und in Firmen eine fatale Abhängigkeit von Microsoft und dessen Produkten. Planlos agieren die ...