Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit
GELÖST

Millionen von Dateien synchronisieren

Frage Microsoft Windows Tools

Mitglied: Malus0815

Malus0815 (Level 1) - Jetzt verbinden

28.10.2010 um 14:18 Uhr, 3595 Aufrufe, 9 Kommentare

Millionen von Dateien zwischen zwei Servern synchronisieren

Wir haben zwei Server, die im Moment mittels MirrorFolder repliziert werden. Hierbei kommt eine so genannte RAID1-Spiegelung zum Einsatz (neue Dateien werden also sofort auf den zweiten Server repliziert). Seit dem wir allerdings eine Grenze von über 20 Millionen Dateien (bei knapp 500GB Datenvolumen) überschritten haben, streikt der MirrorFolder und der Hauptserver stürtzt ab.

Auf beiden Servern ist Windows 2003 Server Standard installiert. Nun suche ich nach einer Leistungsfähigereren Software, damit die Dateien noch synchronisiert werden können.

Ein trennen der Daten auf verschiedene Server ist aus Komplexitätsgründen leider nicht möglich.

Mit welchem Tool synchronisert ihr eure Dateien? Wichtig wäre halt die direkte Spiegelung und nicht eine Zeitplan Synchronisierung, da beide Server aktiv im Einsatz sind.


Ich hoffe ihr könnt mir irgendwie helfen.

Gruß Malus0815
Mitglied: micneu
28.10.2010 um 14:25 Uhr
schau dir doch einfach mal robocopy an.

01.
robocopy "c:\source" "netzlaufwerk\dest" MIR /MON:1
so kannst du zum beispiel verzeichnis abgleichen
(1:1 kopie)
hier aus der hilfe:

/MON:n :: Überwacht die Quelle. Wird erneut ausgeführt, wenn mehr als n Änderungen gefunden werden.

du hast ja schon das meiste der dateien abgeglichen also sollte das auch nicht so lange dauern den ordner auf dem stand zu halten.

gruß michael
Bitte warten ..
Mitglied: 45877
28.10.2010 um 14:35 Uhr
Hallo,

beide Server sind im Einsatz? Wie verhindert ihr inkonsistenzen?
Warum nehmt ihr nicht DFS?
Bitte warten ..
Mitglied: micneu
28.10.2010 um 14:40 Uhr
ist denke ich auch eine möglichkeit, nur so wie ich es verstanden habe hatten Malus0815
so die daten doppelt, ist einer ausgefallen sind nicht gleich alle daten wech.

gruß michael
Bitte warten ..
Mitglied: wiesi200
28.10.2010 um 19:46 Uhr
Also mir kommt das vorgehen ein wenig Spanisch vor.

Wie schon gesagt wie haltet ihr alles konsistent?

An sonsten würden mir 2 SAN's einfallen die man koppelt.
Bitte warten ..
Mitglied: micneu
29.10.2010 um 07:42 Uhr
ich nutze unter linux rsync, und unter windows robocopy

gruß michael
Bitte warten ..
Mitglied: Malus0815
29.10.2010 um 11:35 Uhr
rsync setzen wir bei unseren NAS-Maschinen auch ein (Thecus Geräte).

Robocopy kennen wir bereits und setzen wir auch ein, allerdings nicht für eine direkte Spiegelung sondern nur für den ersten Vollabgleich. Der Schalter /MON hatten wir bis jetzt noch nicht im Einsatz. Wie läuft das ganze ab? Bleibt das cmd-Fenster mit robocopy dann die ganze Zeit offen oder muss die Batch-Datei dann alle paar Sekunden per Taskplaner erneut ausgeführt werden?

Zum Verständis:

Die beiden Maschinen werden durch einen AppDirector von der Firma Radware loadbalanced. Das heißt, dass unsere Webserver auf eine Virtuelle IP-Adresse zugreifen und der AppDirector dann je nach Auslastung die Anfragen an einen von den beiden File-Servern weiterleitet. Im Moment läuft der eine nicht synchron zu dem anderen, somit kommt es je nach Seitenaufruf zu unterschiedlichen Bildern.

Wie meint ihr das mit Datenkonsitenz? Durch den automatischen abgleich durch MirrorFolder (so wie es früher funktionierte) waren beide Server innerhalb weniger Sekunden synchron und konnten genutzt werden. Hierbei ist wichtig, dass einer der File-Server nur als Leseserver genutzt wird und neue bzw. geänderte Daten nur auf den anderen File-Server geschrieben werden (Also ein Schreib/Lese Fileserver und ein reiner Leseserver). So haben wir im Falle eines totalausfalls eines Servers immer noch den Stand auf der anderen Maschine und die Schreibroutinen müssen nur auf den noch vorhandenen Server umgestellt werden.

Eine erneute Synchronisation mit MirrorFolder dauert ca. eine Woche, da es wie gesagt viele kleine Dateien sind. Ingesamt sind es knapp 500GB an Daten.

Gruß Malus0815
Bitte warten ..
Mitglied: 45877
29.10.2010 um 11:51 Uhr
Hallo,

ich würde die Fileserver auf Linux umstellen und dann DRDB und heartbeat nehmen.
Bei robocopy muss das scipt alle x sek/min laufen, um änderungen festzustellen.
Wenn es windows bleiben soll, dann DFS oder ein drittanbieter produkt.
mit konsistenz meinen wir, dass wenn du dateien auf beiden Servern bearbeiten würdest, die meisten
tools in stolpern kommen.
Bitte warten ..
Mitglied: micneu
29.10.2010 um 13:08 Uhr
@Malus0815

das fenster bleibt dann offen in dem robocopy läuft,
ich hatte auch mal gesehen irgend wo im netzt wo man robocopy als dienst nutzen konnte.
und robocopy muß nicht alle x sekunden/minuten prüfen ob sich was geändert hat per task planer.
mit der option /MON:1 wird selbst ständig festgestellt das sich eine änderung ergeben hat und diese schiebt er in das zielverzeichnis
@Malus0815 teste das doch einfach mal mit 2 verzeicchnissen, ich würde sowas nicht fragen sondern erstmal testdaten nehmen und probieren.

gruß michael
Bitte warten ..
Mitglied: Malus0815
30.10.2010 um 13:20 Uhr
Auf Linux umstellen geht leider nicht. Unsere anderen Administratoren haben keinerlei Linux Kenntnisse und deswegen müssen wir auf Windowsbasis bleiben

@micneu
Habe das mit dem Robocopy und /MON jetzt mal getestet. Konnte es vor meinen letzten Beitrag noch nicht testen, da ich da unterwegs war und nur schnell mit meinem Desire geantwortet hatte.
Problem bei dem /MON ist, dass er immer mit mindestens /MOT:1 arbeitet, also auch kein realtime sondern immer nur jede Minute. Das ist bei uns leider nicht ausreichend.

@all
Ich werde jetzt mal auf unseren ESX Servern zwei Server 2003 R2 VMs erstellen und dann mal DFS testen. Hatte damit noch nicht wirklich viel zutun, aber so wie es scheint, bietet es ja eine Realtime Synchronisierung und ein LoadBalancing für einen Namensraum, vorrausgesetzt der Root-Server läuft. Habe ich das soweit richtig verstanden?
Bitte warten ..
Neuester Wissensbeitrag
Humor (lol)

Linkliste für Adventskalender

(3)

Information von nikoatit zum Thema Humor (lol) ...

Ähnliche Inhalte
SAN, NAS, DAS
gelöst Dateien von einem Synology-NAS auf ein Fritz-NAS synchronisieren (3)

Frage von KMP1988 zum Thema SAN, NAS, DAS ...

VB for Applications
VBS Script zum versenden mehrerer Verknüpfungen zu Dateien per Lotus Notes

Frage von Sentinel87 zum Thema VB for Applications ...

Windows Server
Server sehr langsam bei vielen kleinen Dateien (5)

Frage von MichiBLNN zum Thema Windows Server ...

Heiß diskutierte Inhalte
Router & Routing
gelöst Ipv4 mieten (22)

Frage von homermg zum Thema Router & Routing ...

Windows Server
DHCP Server switchen (20)

Frage von M.Marz zum Thema Windows Server ...

Exchange Server
gelöst Exchange 2010 Berechtigungen wiederherstellen (20)

Frage von semperf1delis zum Thema Exchange Server ...

Hardware
gelöst Negative Erfahrungen LAN-Karten (19)

Frage von MegaGiga zum Thema Hardware ...