Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit
GELÖST

Gebrauch von rsync viele Daten auf weiter Streke

Frage Linux Linux Netzwerk

Mitglied: gummistiefel

gummistiefel (Level 1) - Jetzt verbinden

25.03.2008, aktualisiert 28.03.2008, 6893 Aufrufe, 7 Kommentare

Hallo zusammen,

ich habe die Aufgabe erhalten, dass c.a. 5-8 GB Daten zwischen Deutschland und Asien synchron vorhanden sein sollen. Nachdem mich der IPReplicator nicht überzeugen konnte bin ich auf rsync gestoßen. Die entfernte Maschine in Asien ist ein windows2003 FileServer auf dem der cwRsync als Client zum Linux rsync Fileserver nach Deutschland verbinden soll. Die Konfiguration bekomme ich schon hin.

Meinen Chef interessiert eher die Latenzzeit und die Verbarbeitungszeit. Ich sollte erwähnen, dass innerhalb der 5-8 GB sehr viele Unterverzeichnisse mit ca. 1,5 Millionen Daten vorhanden sind. Wie lange benötigt nun der rsync um auf eine Änderung zu reagieren. Muss der jedesmal alle Verzeichnisse/Ordner und Files abchecken? Gibt es irgendwo eine Art Index der angelegt wird? Über Antworten bin ich sehr dankbar. Die Beschreibung des rsync Algorythmus bringt mich übrigens nicht weiter, weil in dem Beispiel nur von einer Datei ausgegangen wird. http://rsync.samba.org/tech_report/node2.html


mfg
Gummistiefel
Mitglied: VW
25.03.2008 um 17:09 Uhr
Moin,

sehr interessant wäre vielleicht noch, wie schnell die Verbindung zwischen den Standorten ist. Über ISDN dürfte das ganze "etwas" länger dauern als über eine 1GBit/s Standleitung.

MfG,
VW

PS: Ich kenne mich leider nicht mit rsync aus und bin eher auf diesen Beitrag gekommen, weil ich mich gefragt habe, warum du nicht einfach DFS von Windows verwendest. Aber mit einem Linux Server geht das ja nicht.
Bitte warten ..
Mitglied: 39916
25.03.2008 um 17:32 Uhr
Hi Gummistiefel,

ich synchronisiere jede Nacht knapp 100GB bei einem Kunden zu meinem eigenen Server (Linux - Linux). Allerdings gleicht rsync bei mir "nur" ca. 160.000 Dateien ab. Das einlesen der Liste dauert (bei 384KBit Upstream) 90sek, also bei Dir ungefähr Faktor 10, was ich absolut akzeptabel finde. Der eigentliche Transfer hängt u.a. von den Parametern ab, die Du übergibst.

Ich habe aber auch die Erfahrung, dass das Ganze unter cwRsync länger dauert.

Hoffe ich konnte Dir etwas helfen,

Gruß,

Martin
Bitte warten ..
Mitglied: gummistiefel
25.03.2008 um 19:31 Uhr
Bandbreitenmäßig stehen in Deutschland ca 35 mbit und Asien ca. 100 mbit zur Verfügung. Beide Leitungen sind aber Sammelleitungen und ziehen die Performance schon jetzt runter. Die angegebenen Werte sind also als "Bruttowert" zu verstehen. Ausserdem vermute ich durch das viele routing und der weiten Strecke ein Flaschenhals entsteht. Liege ich hier falsch? Mir ist bewusst, das der erste Sync aufgrund der fehlenden Daten für die Destionation recht lange dauern wird. Aber was danach kommt lässt mich aufgrund der Ordnertiefe schon jetzt erschaudern. Die Ordner zu zippen dauerte alleine beim einpacken mehr als eine 1/2 Stunde.

mfg
Gummistiefel
Bitte warten ..
Mitglied: TuXHunt3R
25.03.2008 um 20:55 Uhr
Miss doch mal mit iperf (Kommandozeilentool zur Messung der Bandbreite, gibts bei Google) eine Nacht lang per Script jede halbe Stunde oder so und schreibe das Ganze in ein Textfile. Somit hast du eine Auswertung und siehst in etwa, was für eine Bandbreite du zur Verfügung hast.
Bitte warten ..
Mitglied: theton
26.03.2008 um 00:18 Uhr
Ich glaube nicht, dass die Bandbreite hier das Problem sein dürfte, sondern die Anzahl der vielen kleinen Dateien und die Art, wie das RSync durchgeführt wird. Bei einem RSync via SSH z.B. hat man eine latente Verbindung, während bei einem RSync über einen RSync-Server für jede Datei eine neue Verbindung aufgebaut wird, was bedeutet, dass bei vielen kleinen Dateien enorm viel Zeit durch die Handshakes verloren geht. Auch das Berechnen der Checksummen dauert wesentlich länger, wenn es viele Dateien sind.
Bitte warten ..
Mitglied: gummistiefel
26.03.2008 um 08:28 Uhr
OpenSSH wird auf jeden Fall benutzt. Jenseits meines Problems bin ich für den Hinweis mit iperf dankbar. Es gibt immer wieder etwas, dass ich noch nicht kenne. Ich bin mir nicht sicher ob es eine Möglichkeit gibt die rsync Verbindung dauerthaft also in echtzeit aufrechtzuerhalten. Momentan startet der Taskplaner von Windows ein .bat script, wobei hier jedes mal aufs neue eine rsync + SSH Verbindung aufgebaut wird. Wenigstend habe ich jetzt eine Vorstellung, was mich erwartet. Klasse
Bitte warten ..
Mitglied: 27688
28.03.2008 um 10:42 Uhr
dem stimme ich zu! das hauptproblem dürfte nicht die bandbreite sein. darum kann man auch nicht wirklich vorhersagen wie lange ein "durchschnittlicher" sync-durchgang laufen wird. denn mal gibt es viel, mal wenig zu syncronisieren. und über die anzahl bzw vor allem die größe der Dateien und deren Verteilung/gewichtung haben wir ja auch nichts erfahren. also wenn du sowas wissen musst gilt: selbst testen! ich glaube nicht da es für deinen Fall eine Formel gibt.

Wie mein Vorredner schon sagte...vermutlich wird die meiste Zeit bei dir durch den Verwaltungsoverhead und das Handshaking vergehen wenn du sehr sehr viele sehr kleine dateien hast.

was gerne für verwirrung sorgt... RSYNC ist ein Protokoll UND ein Programmpaket bestehend aus Client und Server. eigentlich verbindet sich ein rsync client über das rsync protokoll mit dem rsync-server. Man kann rsync aber auch ohne das server-gegenstück nur zwischen "gemounteten" verzeichnissen einsetzen. dann dient es nur als syncrhonisationsprogramm, regelt aber nicht die logische verbindung zwischen den servern. das "könnte" evtl effektiver sein.

die verbindung zwischen den Servern könnte z.b. per SSH-Shell oder per CIFS/SMB erfolgen. also vieleicht hast du auf der linux box einen samba server laufen und willst dessen freigabe auf dem windows server mounten. dann könntest du sogar mit dem microsoft tool "robocopy" arbeiten oder mit jedem beliebigen anderen windows-sync programm. oder du machst es umgekehrt auf der linux seite und mountest die freigabe des windows servers. dann kannst du auf der linux seite mit rsync die sncronisation anwerfen bei einer festen bestehenden online-verbindung.
Bitte warten ..
Ähnliche Inhalte
Netzwerkmanagement
Rsync über VPN
Frage von bluepythonNetzwerkmanagement13 Kommentare

Hallo zusammen, ich habe zwei NAS von Synology. Beide stehen an zwei verschiedenen Standorten. Die beiden Standorte sind per ...

Off Topic
Tools für den alltäglichen Gebrauch
gelöst Frage von chnie123Off Topic8 Kommentare

Hallo Zusammen ;) ich wollte einfach mal aus Interesse fragen, welche Tools oder Programme Ihr so einsetzt, um euch ...

RedHat, CentOS, Fedora
Rsync zwischen zwei Server
Frage von Malli88RedHat, CentOS, Fedora1 Kommentar

Hallo zusammen, ich stehe vor einem kleinen Problem mit dem Backup eines Datenbank-Dumps. Es sollen alle Dateien aus dem ...

Festplatten, SSD, Raid
Rsync unter Windows mit cygwin langsam
gelöst Frage von ketanest112Festplatten, SSD, Raid4 Kommentare

Hallo zusammen, ich habe ein bisschen recherchiert, wie ich am besten ein differentielles Backup für meine Freigaben erstelle und ...

Neue Wissensbeiträge
Linux

Limux-Ende in München: Wie ein Linux Projekt unter Ausschluss der Öffentlichkeit zerstört wurde

Information von Frank vor 3 StundenLinux12 Kommentare

Mein persönlicher Kommentar zum Thema "Limux-Ende". Die SPD-Politikerin Anne Hübner hat die Richtung von München ganz klar definiert: "Wir ...

Batch & Shell

Open Object Rexx: Eine mittlerweile fast vergessene Skriptsprache aus dem Mainframebereich

Information von Penny.Cilin vor 1 TagBatch & Shell9 Kommentare

Ich kann mich noch sehr gut an diese Skriptsprache erinnern und nutze diese auch heute ab und an noch. ...

Humor (lol)

"gimme gimme gimme": Automatischer Test stolpert über Easter Egg im man-Tool

Information von Penny.Cilin vor 1 TagHumor (lol)6 Kommentare

Interessant, was man so alles als Easter Egg implementiert. Ist schon wieder Ostern? "gimme gimme gimme": Automatischer Test stolpert ...

MikroTik RouterOS

Mikrotik - Lets Encrypt Zertifikate mit MetaROUTER Instanz auf dem Router erzeugen

Anleitung von colinardo vor 1 TagMikroTik RouterOS8 Kommentare

Einleitung Folgende Anleitung ist aus der Lage heraus entstanden das ein Kunde auf seinem Mikrotik sein Hotspot Captive Portal ...

Heiß diskutierte Inhalte
Router & Routing
Zwei Netzwerke erstellen
Frage von bunteblumeRouter & Routing14 Kommentare

Hallo Zusammen, Ich möchte gerne ein backup von einem bestimmten Folder welcher auf dem Server regelmässig synchronisiert wird auf ...

Off Topic
Fachkräftemangel in Deutschland? - Talentschmiede schreibt alle 2 Tage die gleichen Stellen aus
Frage von Penny.CilinOff Topic12 Kommentare

Hallo, haben wir in Deutschland Fachkräftemangel? Die Talentschmiede schreibt gefühlt alle zwei Tage dieselben Stellen aus. Und das schon ...

Linux
Limux-Ende in München: Wie ein Linux Projekt unter Ausschluss der Öffentlichkeit zerstört wurde
Information von FrankLinux12 Kommentare

Mein persönlicher Kommentar zum Thema "Limux-Ende". Die SPD-Politikerin Anne Hübner hat die Richtung von München ganz klar definiert: "Wir ...

Windows 10
Alle Programme mit bestimmtem Namen automatisch (per GPO) deinstallieren
gelöst Frage von lordofremixesWindows 1012 Kommentare

Hallo zusammen, gibt es eine Möglichkeit, alle Programme beginnend mit z.B. "Dell" im Namen per Script und somit per ...