Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Synchroniserung von großen Datenmengen mit einem Webserver

Frage Microsoft Windows Netzwerk

Mitglied: Hkhan

Hkhan (Level 1) - Jetzt verbinden

08.07.2008, aktualisiert 22.07.2008, 4175 Aufrufe, 18 Kommentare

beste Möglichkeit über FTP?

Guten Tag zusammen,

ich habe folgendes Problem:

Ich müsste einen großen Datenbestand (ca. über 15 GB) auf unseren Webserver hochladen. Nachdem der Bestand auf dem Webserver liegt, müssten alle neuen Dateien die dazukommen in Echtzeicht "hochgepusht" werden. Der Webserver liegt zwar im Netzwerk, wir haben jedoch aus Sicherheitsgründen eine Firewall dazwischen geschaltet. Für den Datentransport haben wir lediglich den FTP-Port nach außen freigeschaltet.

Funktionieren tut das Ganze nur bedingt... irgendwann bricht die Verbindung zusammen...

Was würdet Ihr empfehlen?

Gruß

Hkhan
Mitglied: D3S3RT
08.07.2008 um 11:30 Uhr
Ich würde mit dem Total commander arbeiten, der kann auch FTP Server synchronisieren. Sprich links dann den ftp server, rechts das Lokale laufwerk. Auf synchronisieren, der schaut dann nach, was gleich ist. Nach Dateidatum und größe und natürlich name. Was nicht passt, wird wohl neu sein, das kannste dann synchronisieren lassen.

Um wieviele Dateien handelt es sich denn? weil ftp ja nur für große Dateien schnell ist.
Bitte warten ..
Mitglied: Hkhan
08.07.2008 um 11:45 Uhr
das sind alles nur .tif Dokumente. Die Dateien werden immer mehr. Wenn ich mal grob schätze sind das locker 100.000 Dokumente auf X Unterverzeichnissen.

Kann da der Total Commander mithalten?

Ich habe es bereits mit FTP-Voyager, Super Flexible Synchroniser und anderen Tools probiert.

Momentan habe ich den NetDrive von Novell draufgespielt, in der Hoffnung dass Sync Tools besser damit zurechtkommen, bringt aber auch nicht wirklich viel...
Bitte warten ..
Mitglied: D3S3RT
08.07.2008 um 11:53 Uhr
au, soviele files sind echt heftig. Für jeden Ordner wechsel ist halt nur ein Listdir erforderlich. Bei sehrvielen Ordnern kann das echt schon Traffic machen. Ich synchronisiere mit dem Totalcommander z.b. mein Ct Offline update auf den Server. Das sind mittlerweile auch schon so diverse Dateien. Aber max 2000.

Ich würde es einfach mal testen, die Testversion vom TotalCommander hat auch den vollen Funktionsumfang.
Bitte warten ..
Mitglied: Hkhan
08.07.2008 um 11:59 Uhr
naja, hab wenig Hoffnung hab gerade nachgeschaut und es sind weit über 100.000...

werde es trotzdem versuchen...

trotzdem vielen Dank für die schnellen Antworten und für den heißen Tipp

Gruß

Hkhan
Bitte warten ..
Mitglied: 60730
08.07.2008 um 13:02 Uhr
Servus,

zum einmaligen "massiven" befüllen...

- nimm eine USB Platte schieb die Tifs da drauf - klemme die lokal an den FTP Server und hole Sie dir dann davon.
Dauert zwar auch lange und ist "umständlich" dafür klappt es aber reibungsloser.

An Ende kannst du mit Wget oder ähnlichem die aktuellen Daten synchron halten.
Bitte warten ..
Mitglied: Hkhan
08.07.2008 um 13:04 Uhr
Hi Timo,

auf die Idee bin ich auch schon gekommen. Das war sogar das erste was ich gemacht hatte. Die neuen Dateien, die dazugekommen sind werden mit WatchDirectory auf den FTP gepusht. Leider ist dieses Programm sehr unzuverlässig.

Wie gut ist Wget?

Gruß

Hkhan
Bitte warten ..
Mitglied: 60730
08.07.2008 um 13:15 Uhr
Servus,

Wget ist so ziemlich das genialste, was es für den Bereich gibt.
Übrigens läuft das CT Offline Patch System, das D3S3RT angesprochen hat auch damit (so holt es sich die Patche von M$)

Ist Open Source, gibt es für Tux & Win

Gruß
Bitte warten ..
Mitglied: Hkhan
08.07.2008 um 14:22 Uhr
ok, jetzt brauch ich nur noch eine Bedienungsanleitung für Wget
Bitte warten ..
Mitglied: Hkhan
08.07.2008 um 15:18 Uhr
oh ok, danke!

komme mit dem jedoch nicht ganz weiter...

kannst du mir mal eine Beispiel Syntax aufschreiben. Bsp:

download des gesamten verzeichnisses auf dem FTP auf lokale platte C:\download\
Bitte warten ..
Mitglied: 60730
08.07.2008 um 17:26 Uhr
download des gesamten verzeichnisses auf dem FTP auf lokale platte C:\download\

c:
cd download
wget --mirror ftp://user:pass@server.local/path
Bitte warten ..
Mitglied: Hkhan
09.07.2008 um 08:38 Uhr
Hi Timo,

ok, den Download hab ich bereits hinbekommen. Wie sieht es mit Upload Spiegelung aus?

Gruß

Hkhan
Bitte warten ..
Mitglied: 60730
09.07.2008 um 10:28 Uhr
Moin Hakan,

Der Download des einen, ist der Upload des anderen

WGet = Pull
WPut = Push
Bitte warten ..
Mitglied: Hkhan
09.07.2008 um 10:46 Uhr
Moin Timo,

wput ist doch unabhängig von wget?? dachte ich zumindest... ist also wget tatsächlich nur zum download...

klingt auch logisch get und put..

Vielen vielen Dank!

Gruß

Hkhan
Bitte warten ..
Mitglied: Hkhan
14.07.2008 um 10:47 Uhr
Ich habe leider nun zu diesem Problem ein weiteres Problem:

wput funktioniert "eigentlich" super! So wie ich es mir vorstelle. Das Problem ist nur, dass ich Dokumente von dem Archivsystem "DocuWare" nicht pushen kann! wput zeigt keine Reaktion? Was könnte den wput stören? Normalerweise bekommt ja irgendwelche Fehlermeldungen, wenn was nicht stimmt. Aber bei den Dokumenten von DocuWare zeigt er überhaupt keine Raktion

bin noch weiter am Verzweifeln

Freue mich über jeden Tipp!

Gruß

Hkhan
Bitte warten ..
Mitglied: 60730
14.07.2008 um 14:32 Uhr
Servus,

kannst du die Daten "normal" in einen anderen Ordner kopieren oder zippen?
Dokuware wird die Dateien wahrscheinlich sperren.....

Falls das ein Service / Dienst ist - kannst du den vor dem Wput mit Net stop beenden und mit Net start wieder starten?
Bitte warten ..
Mitglied: Hkhan
15.07.2008 um 11:08 Uhr
Das hab ich mir auch erst gedacht, dass DocuWare die Dateien sperrt. Dürfte jedoch nicht zutreffen, da ich mit anderen Programmen z. B. Total Commander oder mit einem normalen FTP Programm die Dateien hochladen kann!?
Bitte warten ..
Mitglied: Hkhan
22.07.2008 um 09:03 Uhr
ich habe noch einen Anhaltspunkt gefunden: die Ordner die mit wput auf den FTP kopiert werden sollen, sind schreibgeschützt! Könnte das der Grund dafür sein, dass wput auf diese Ordner/Dateien nicht reagiert? Gibt es denn einen speziellen Befehl?

Gruß

Hkhan
Bitte warten ..
Neuester Wissensbeitrag
Windows 10

Powershell 5 BSOD

(8)

Tipp von agowa338 zum Thema Windows 10 ...

Ähnliche Inhalte
Groupware
Newsletter Mails vom Webserver oder Mailserver versenden? (10)

Frage von Lakatusch zum Thema Groupware ...

Batch & Shell
CSV Stapelverarbeitung mit Filterfunktion für große Datenmengen (8)

Frage von Rippchen zum Thema Batch & Shell ...

Apache Server
gelöst Apache Webserver HTTP 500 Error (7)

Frage von ClepToManix zum Thema Apache Server ...

LAN, WAN, Wireless
gelöst Webserver Errichbarkeit aus dem Internet über einen Reverse Proxy (5)

Frage von mario87 zum Thema LAN, WAN, Wireless ...

Heiß diskutierte Inhalte
Microsoft
Ordner mit LW-Buchstaben versehen und benennen (21)

Frage von Xaero1982 zum Thema Microsoft ...

Windows Update
Treiberinstallation durch Windows Update läßt sich nicht verhindern (17)

Frage von liquidbase zum Thema Windows Update ...

Windows Tools
gelöst Aussendienst Datensynchronisierung (12)

Frage von lighningcrow zum Thema Windows Tools ...

Windows Server
Suche passender Treiber (12)

Frage von stolli zum Thema Windows Server ...