Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Suche Tool zum Syncronisieren von NAS Datenlaufwerken

Frage Linux Linux Tools

Mitglied: nexutron

nexutron (Level 1) - Jetzt verbinden

19.01.2010, aktualisiert 12:41 Uhr, 6567 Aufrufe, 13 Kommentare

Hallo zusammen.

Das Daten syncronisieren von NAS-Datenlaufwerken dauert zu lange.
ca. 1TB Daten wo sich 3-10 GB täglich ändern die syncronisiert werden sollen.
Bin nun auf der Suche nach einer besseren Software, da die alte dafür im Durchschnitt 20 Stunden braucht.

Bisher nutzte ich viceversa pro. http://www.tgrmn.com/
Dieses Tool ist eindeutig zu langsam, was es fehleranfällig macht.
Einlesen von NAS-Datenlaufwerk 1 und vergleichen mit NAS-Datenlaufwerk 2 dauert mal eben 2-4 Stunden.
Das syncronisieren selbst auch noch mal 10-20 Stunden. (im lokalen GB-LAN) Die Differenzdaten wären so 3-10 GB pro Tag.
Bis alles durchgelaufen ist sind schnell mal 10-20 Stunden um. Bis dahin hat sich viel verändert

Der vergleich der Datensätze erfolgt etwas unglücklich.
Erst werden alle Daten von dem NAS 1 (ca. 600.000 Dateien) eingelesen. Dann die Daten auf dem NAS 2. Jetzt erst erfolgt der vergleich der Datensätze.
Nach den vielen Stunden beginnt erst die Kopieraktion von 10-20 Stunden
Ich denke mal das es so lahmt liegt daran das die Software (installiert auf einem Win 2K3 Server) erst die Daten File für File zu sich holt und dann auf das 2. NAS schreibt statt direkt.

Eigentlich ist die Datenmenge nicht so groß was pro Tag geändert oder erzeugt wird.
Daher sollte eine weitere Syncronisation (NAS-Datenlaufwerk 3 ) über eine VPN Leitung prinzipiel möglich sein.

Optimal wäre ein Tool welches:

- Ordnerweise vergleicht und schreibt /syncronisiert.
- Skalierbar in der Bandbreite ist (wegen der 2. Syncronisation über die Standleitung)
- Zeit/Datumsstempel nutzt zum vergleich.
- Dateipfade und Namen von mehr als 256 Zeichen unterstützt.

Nice to have

- wenn es die NTFS Rechtestruktur mit übertragen kann.
- Auf dem Sycronisiertem Laufwerk die geänderten in einen "Papierkorb" erst ablegt.

Hat jemand einen Vorschlag? Vorzugsweise ein Tool was wirklich mit den Mengen umgehen kann.
In der Theorie und den Produktbeschreibungen können es viele

Gruß Nex
Mitglied: 45877
19.01.2010 um 12:53 Uhr
Hallo,

da linux wohl rsync?
Bitte warten ..
Mitglied: Kim
19.01.2010 um 13:20 Uhr
Wenn Ihr einen Windows Server habt, könnt ihr ein DFS einrichten, da habt ihr Bandbreitenmanagement und es repliziert in beide Richtungen!

Microsoft Distributed File System

Gruß
Kim
Bitte warten ..
Mitglied: ErdNageL
19.01.2010 um 13:38 Uhr
Ich verwende ROBOCOPY für diesen Zweck und bin damit sehr zufrieden.

ErdNageL
Bitte warten ..
Mitglied: nexutron
19.01.2010 um 14:07 Uhr
Hallo,

danke erst mal für die raschen Antworten.

Der Hauptspeicher ist ein NAS wo als OS Debian läuft. Im Gerät befindet sich ein USB Modul, welches den NAS Dienst bereit stellt (Open-E) http://www.open-e.com/
Von daher lass ich mal die Finger von dem System Nicht weil ein Linux darauf läuft, sondern weil das Linux nur zum Booten und unterstützen des Open-E Software genutzt wird.

Das 2. NAS ist ein im lokalen Netzwerk stehendes System von Buffalo (Schlichtes Gerät, 2TB kappazität, Weboberfläche mit der option das ADS einzulesen, und ein GigaBit LAN anschluss)

Das 3. NAS steht in dem anderen Standort als I-SCSI eingebundes Gerät an dem lokalen Server.
Es wäre aber auch ein andes Gerät an dem Standort für die Syncronisation nutzbar (wie NAS 2)

Ach ja, Windows Server (alle Win 2K3) haben wir,

Mit dem DFS habe ich bisher nichts gemacht.
Geht das auch mit Externen Speichern / Netzfreigaben wie dem NAS?

Kopiert jemand z.B. 5 G-Byte Daten von seinem Laptop an dem Standort auf den Speicher
Ist dann die Leitung tot ?

Robocopy wäre etwas aufwendig um alles zu konfigurieren (was wohin mit den rechten Änderungen und der Berücksichtigung der Bandbreite)
Oder täusche ich mich da?

Gruß Nex
Bitte warten ..
Mitglied: ErdNageL
19.01.2010 um 14:47 Uhr
Hallo Nex,

ich finde nicht das Robocopy zu aufwendig ist.
Allerdings, da hast du Recht, muss man sich erst einmal in das Thema einlesen und ausführliche Test durchführen
bevor man sich an das Produktivsystem trauen sollte.

Robocopy ist extrem schnell und es stehen viele Schalter zur Verfügung um Deine Wünsche umzusetzen.
Ich setze Robocopy wegen seiner hohen Geschwindigkeit und seiner Stabilität ein. Kostenlos ist es natürlich auch.

Mit Buffalo Hardware habe ich im Firmenkundenbereich keine Erfahrung.

Tschö
ErdNageL
Bitte warten ..
Mitglied: Arch-Stanton
19.01.2010 um 14:55 Uhr
open-e unterstützt doch rsync, wo ist nun das Problem? Du synchronisierst doch wohl nicht über einen per Netzwerk angebundenen Windowssrechner?!? Wenn ja, dann nicht gut. Lies Dir mal die open-e Dokumentation durch.

Gruß, Arch Stanton
Bitte warten ..
Mitglied: nexutron
19.01.2010 um 16:14 Uhr
Hallo Arch

Open-E lässt zu das man mit rsync zugreifen kann. Mehr nicht.
Eigene Spiegelung von Open-E gibt es da nur, wenn man 2 Open-E Server hat.

Ja ich nutze Windowsrechner ^^
Es wäre etwas über das Ziel hinaus wenn man nur für eine Spiegelung einen extra Server / Rechner mit Linux bereitstellen will / müsste.

Windows kann das ja auch Nur eine Frage der Software.
Meine Symantec Backup Software auf einem Windows Server zieht ja die Daten 20X schnelle wie mein Sync. Tool.
Daher gilt es das Sync Tool (oder Verfahren) zu wechseln.

Gruß Nex
Bitte warten ..
Mitglied: 45877
19.01.2010 um 16:32 Uhr
Hallo,

wenn auf der Kste debian läuft, dann läuft doch auch rsync?

und wenn dir das nicht einfach genug ist, dann nimm eins davon

http://www.debianhelp.co.uk/rsyncweb.htm
Bitte warten ..
Mitglied: nexutron
19.01.2010 um 17:09 Uhr
Moin

Hatte ich oben schon beschrieben.
liegt an Open-E das ich da nicht rumfingere.
Wäre es eine einache Freigabe auf einem Linux Fileserver wäre ich dabei

Gruß Nex
Bitte warten ..
Mitglied: Arch-Stanton
20.01.2010 um 11:00 Uhr
wenn Du über einen dritten Rechner synchronisierst, müssen die Daten immer über diesen Knecht kopiert werden, also doppelt und dreifach.

Gruß, Arch Stanton
Bitte warten ..
Mitglied: nexutron
20.01.2010 um 12:59 Uhr
Das ist klar.

Z.B. Die Symantec Backup Exec Software schafft es ja auch mit einer akzeptablen Geschwindigkeit. 60MB /Sec (WEnn es über den 3. geht)
Das Viceversa pro barauch 20 X so lange. (3MB /sec)

Optimal wäre .... schön
Es müssen aber 2-3 NAS gespiegelt werden und die aktuelle Software ist ungünstig.

Das mit dem DFS habe ich mir mal angesehen. im Prinziep wäre das schon die "Lösung"
NMur konnte ich da nichtg herrausfinden ob man eine NAS dafür nutzen kann. Oder ob es nur LAufwerken in den Servern geht.

Gruß Nex
Bitte warten ..
Mitglied: Schnuffo
30.09.2010 um 08:21 Uhr
Hi!
Die Bremse liegt im System selbst nicht unbedingt an der Software - mit Buffalo hast du nicht viel gewonnen, es besitzt zwar ein Gigabitanschluss nur ist die Hardware selbst dafür zu klein ausgelegt. Die Transferraten sind nur mäßig.
Wir haben Buffalo aus gleichem Grund rausgeschmissen und sind auf QNAP umgestiegen.

Schau mal bei Google mit den Begriffen "Buffalo langsam" und du wirst überschüttet mit Beiträgen.

Gruß!

Chris
Bitte warten ..
Mitglied: nexutron
30.09.2010 um 11:34 Uhr
Moin Chris,

Die Buffalos (die Modelle die ich einsetze) sind nicht zu langsam. Klar ist Buffallo günstig, aber als Ablage völlig ausreichend.
Das große Kopierproblem bzw. der geringe Durchsatz habe ich auch zwischen 2 Dell Pro Liant oder den HP Server(n)
Die Software benötigt schon Stunden lokal zum prüfen / erfassen was syncronisiert werden soll. Daher sind die Büffelplatten hier mal unschuldig

Gruß Nex
Bitte warten ..
Neuester Wissensbeitrag
Microsoft

Lizenzwiederverkauf und seine Tücken

(5)

Erfahrungsbericht von DerWoWusste zum Thema Microsoft ...

Ähnliche Inhalte
Heiß diskutierte Inhalte
LAN, WAN, Wireless
FritzBox, zwei Server, verschiedene Netze (18)

Frage von DavidGl zum Thema LAN, WAN, Wireless ...

Windows Netzwerk
Windows 10 RDP geht nicht (16)

Frage von Fiasko zum Thema Windows Netzwerk ...

Windows Server
Outlook Verbindungsversuch mit Exchange (15)

Frage von xbast1x zum Thema Windows Server ...