Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Synchroniserung von großen Datenmengen mit einem Webserver

Frage Microsoft Windows Netzwerk

Mitglied: Hkhan

Hkhan (Level 1) - Jetzt verbinden

08.07.2008, aktualisiert 22.07.2008, 4226 Aufrufe, 18 Kommentare

beste Möglichkeit über FTP?

Guten Tag zusammen,

ich habe folgendes Problem:

Ich müsste einen großen Datenbestand (ca. über 15 GB) auf unseren Webserver hochladen. Nachdem der Bestand auf dem Webserver liegt, müssten alle neuen Dateien die dazukommen in Echtzeicht "hochgepusht" werden. Der Webserver liegt zwar im Netzwerk, wir haben jedoch aus Sicherheitsgründen eine Firewall dazwischen geschaltet. Für den Datentransport haben wir lediglich den FTP-Port nach außen freigeschaltet.

Funktionieren tut das Ganze nur bedingt... irgendwann bricht die Verbindung zusammen...

Was würdet Ihr empfehlen?

Gruß

Hkhan
Mitglied: D3S3RT
08.07.2008 um 11:30 Uhr
Ich würde mit dem Total commander arbeiten, der kann auch FTP Server synchronisieren. Sprich links dann den ftp server, rechts das Lokale laufwerk. Auf synchronisieren, der schaut dann nach, was gleich ist. Nach Dateidatum und größe und natürlich name. Was nicht passt, wird wohl neu sein, das kannste dann synchronisieren lassen.

Um wieviele Dateien handelt es sich denn? weil ftp ja nur für große Dateien schnell ist.
Bitte warten ..
Mitglied: Hkhan
08.07.2008 um 11:45 Uhr
das sind alles nur .tif Dokumente. Die Dateien werden immer mehr. Wenn ich mal grob schätze sind das locker 100.000 Dokumente auf X Unterverzeichnissen.

Kann da der Total Commander mithalten?

Ich habe es bereits mit FTP-Voyager, Super Flexible Synchroniser und anderen Tools probiert.

Momentan habe ich den NetDrive von Novell draufgespielt, in der Hoffnung dass Sync Tools besser damit zurechtkommen, bringt aber auch nicht wirklich viel...
Bitte warten ..
Mitglied: D3S3RT
08.07.2008 um 11:53 Uhr
au, soviele files sind echt heftig. Für jeden Ordner wechsel ist halt nur ein Listdir erforderlich. Bei sehrvielen Ordnern kann das echt schon Traffic machen. Ich synchronisiere mit dem Totalcommander z.b. mein Ct Offline update auf den Server. Das sind mittlerweile auch schon so diverse Dateien. Aber max 2000.

Ich würde es einfach mal testen, die Testversion vom TotalCommander hat auch den vollen Funktionsumfang.
Bitte warten ..
Mitglied: Hkhan
08.07.2008 um 11:59 Uhr
naja, hab wenig Hoffnung hab gerade nachgeschaut und es sind weit über 100.000...

werde es trotzdem versuchen...

trotzdem vielen Dank für die schnellen Antworten und für den heißen Tipp

Gruß

Hkhan
Bitte warten ..
Mitglied: 60730
08.07.2008 um 13:02 Uhr
Servus,

zum einmaligen "massiven" befüllen...

- nimm eine USB Platte schieb die Tifs da drauf - klemme die lokal an den FTP Server und hole Sie dir dann davon.
Dauert zwar auch lange und ist "umständlich" dafür klappt es aber reibungsloser.

An Ende kannst du mit Wget oder ähnlichem die aktuellen Daten synchron halten.
Bitte warten ..
Mitglied: Hkhan
08.07.2008 um 13:04 Uhr
Hi Timo,

auf die Idee bin ich auch schon gekommen. Das war sogar das erste was ich gemacht hatte. Die neuen Dateien, die dazugekommen sind werden mit WatchDirectory auf den FTP gepusht. Leider ist dieses Programm sehr unzuverlässig.

Wie gut ist Wget?

Gruß

Hkhan
Bitte warten ..
Mitglied: 60730
08.07.2008 um 13:15 Uhr
Servus,

Wget ist so ziemlich das genialste, was es für den Bereich gibt.
Übrigens läuft das CT Offline Patch System, das D3S3RT angesprochen hat auch damit (so holt es sich die Patche von M$)

Ist Open Source, gibt es für Tux & Win

Gruß
Bitte warten ..
Mitglied: Hkhan
08.07.2008 um 14:22 Uhr
ok, jetzt brauch ich nur noch eine Bedienungsanleitung für Wget
Bitte warten ..
Mitglied: Hkhan
08.07.2008 um 15:18 Uhr
oh ok, danke!

komme mit dem jedoch nicht ganz weiter...

kannst du mir mal eine Beispiel Syntax aufschreiben. Bsp:

download des gesamten verzeichnisses auf dem FTP auf lokale platte C:\download\
Bitte warten ..
Mitglied: 60730
08.07.2008 um 17:26 Uhr
download des gesamten verzeichnisses auf dem FTP auf lokale platte C:\download\

c:
cd download
wget --mirror ftp://user:pass@server.local/path
Bitte warten ..
Mitglied: Hkhan
09.07.2008 um 08:38 Uhr
Hi Timo,

ok, den Download hab ich bereits hinbekommen. Wie sieht es mit Upload Spiegelung aus?

Gruß

Hkhan
Bitte warten ..
Mitglied: 60730
09.07.2008 um 10:28 Uhr
Moin Hakan,

Der Download des einen, ist der Upload des anderen

WGet = Pull
WPut = Push
Bitte warten ..
Mitglied: Hkhan
09.07.2008 um 10:46 Uhr
Moin Timo,

wput ist doch unabhängig von wget?? dachte ich zumindest... ist also wget tatsächlich nur zum download...

klingt auch logisch get und put..

Vielen vielen Dank!

Gruß

Hkhan
Bitte warten ..
Mitglied: Hkhan
14.07.2008 um 10:47 Uhr
Ich habe leider nun zu diesem Problem ein weiteres Problem:

wput funktioniert "eigentlich" super! So wie ich es mir vorstelle. Das Problem ist nur, dass ich Dokumente von dem Archivsystem "DocuWare" nicht pushen kann! wput zeigt keine Reaktion? Was könnte den wput stören? Normalerweise bekommt ja irgendwelche Fehlermeldungen, wenn was nicht stimmt. Aber bei den Dokumenten von DocuWare zeigt er überhaupt keine Raktion

bin noch weiter am Verzweifeln

Freue mich über jeden Tipp!

Gruß

Hkhan
Bitte warten ..
Mitglied: 60730
14.07.2008 um 14:32 Uhr
Servus,

kannst du die Daten "normal" in einen anderen Ordner kopieren oder zippen?
Dokuware wird die Dateien wahrscheinlich sperren.....

Falls das ein Service / Dienst ist - kannst du den vor dem Wput mit Net stop beenden und mit Net start wieder starten?
Bitte warten ..
Mitglied: Hkhan
15.07.2008 um 11:08 Uhr
Das hab ich mir auch erst gedacht, dass DocuWare die Dateien sperrt. Dürfte jedoch nicht zutreffen, da ich mit anderen Programmen z. B. Total Commander oder mit einem normalen FTP Programm die Dateien hochladen kann!?
Bitte warten ..
Mitglied: Hkhan
22.07.2008 um 09:03 Uhr
ich habe noch einen Anhaltspunkt gefunden: die Ordner die mit wput auf den FTP kopiert werden sollen, sind schreibgeschützt! Könnte das der Grund dafür sein, dass wput auf diese Ordner/Dateien nicht reagiert? Gibt es denn einen speziellen Befehl?

Gruß

Hkhan
Bitte warten ..
Ähnliche Inhalte
SAN, NAS, DAS
Erfahrungen mit QNAP QSYNC und größeren Datenmengen?
Frage von puertoSAN, NAS, DAS2 Kommentare

Hallo liebe Gemeinde! Ich würde gerne von euch hören, falls ihr Erfahrung mit QNAP QSYNC mit mehreren Nutzern (3 ...

Batch & Shell
CSV Stapelverarbeitung mit Filterfunktion für große Datenmengen
Frage von RippchenBatch & Shell8 Kommentare

Hallo, Ich studiere und muss in einer Projektarbeit Daten auswerten, die mir leider nur in vielen (über 100000) csv ...

Batch & Shell
Viele Grosse Files vom Webserver Backuppen per ssh
Frage von sbsnewbieBatch & Shell7 Kommentare

Moin Leude, folgende Frage. Ich habe einige grosse Backupfiles auf meinem Webserver und will alle mal runterladen. Ich habe ...

Linux Netzwerk
Squid läd bei großen Bilder von localen Webserver sehr langsamm
gelöst Frage von Wern2000Linux Netzwerk4 Kommentare

Hallo, ich hab hier im Netzwerk einen virtuellen Server (VMWare 6) mit Debian und Squid 3. Das ganze läuft ...

Neue Wissensbeiträge
Internet

USA: Die FCC schaff die Netzneutralität ab

Information von Frank vor 6 StundenInternet2 Kommentare

Jetzt beschädigt US-Präsident Donald Trump auch noch das Internet. Der neu eingesetzte FCC-Chef Ajit Pai ist bekannter Gegner einer ...

DSL, VDSL

ALL-BM200VDSL2V - Neues VDSL-Modem mit Vectoring von Allnet

Information von Lochkartenstanzer vor 10 StundenDSL, VDSL1 Kommentar

Moin, Falls jemand eine Alternative zu dem draytek sucht: Gruß lks

Windows 10

Microsoft bestätigt DMA-Policy-Problem in Win10 v1709

Information von DerWoWusste vor 10 StundenWindows 10

Wer sein Gerät mit der DMA-Policy absichert, bekommt evtl. Hardwareprobleme in v1709 von Win10. Warum? Weil v1709 endlich "richtig" ...

Verschlüsselung & Zertifikate

Die Hölle friert ein weiteres Stück zu: Microsoft integriert OpenSSH in Windows

Information von ticuta1 vor 13 StundenVerschlüsselung & Zertifikate

Interessant Die Hölle friert ein weiteres Stück zu: Microsoft integriert OpenSSH in Windows SSH-Kommando in CMD.exe und PowerShell

Heiß diskutierte Inhalte
Netzwerkmanagement
Mehrere Netzwerkadapter in einem PC zu einem Switch zusammenfügen
Frage von prodriveNetzwerkmanagement21 Kommentare

Hallo zusammen Vorweg, ich konnte schon einige IT-Probleme mit Hilfe dieses Forums lösen. Wirklich klasse hier! Doch für das ...

Windows Server
RODC kann nicht aus Domäne entfernt werden
Frage von NilsvLehnWindows Server19 Kommentare

HAllo, ich arbeite in einem Universitätsnetzwerk mit 3 Standorten. Die Standorte haben alle ein ESXi Cluster und auf diesen ...

Hardware
Links klick bei Maus funktioniert nicht
gelöst Frage von Pablu23Hardware16 Kommentare

Hallo erstmal. Ich habe ein Problem mit meiner relativ alten maus jedoch denke ich nicht das es an der ...

Windows Server
Anmeldung direkt am DC nicht möglich
Frage von ThomasGrWindows Server15 Kommentare

Hallo, ich habe bei unserem Server 2016 Standard ein Problem. Keine Ahnung wie das auf einmal passiert ist. Ich ...