Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Dateiabgleich über langsame Verbindung - nur geänderte Dateien übertragen

Mitglied: ITAnfaenger

ITAnfaenger (Level 1) - Jetzt verbinden

05.01.2011 um 15:16 Uhr, 3296 Aufrufe, 3 Kommentare

Hallo zusammen,

ich habe folgende Problemstellung und wollte mich schlau machen, wie ich das Ganze am besten angehe

Ich muß öfters Dokumente auf den Servern von Kunden aktualisieren. Diese setzen eine Software von uns ein (in PHP programmiert), dazu haben die Kunden einige hundert PDF-Dateien, welche teil der Software sind und regelmäßig aktualisiert werden müssen.
Bei einem Update der PDF-Dateien wird jeweils die alte PDF Datei mit einer neuen Version überschrieben, d.h. die Dateinamen bleiben dieselben.

Normalerweise könnte ich jetzt die ganzen PDF-Dateien (d.h. den kompletten Ordner) mit einer neuen Version überschreiben, somit liegen ja alle PDFs in der jeweilig neuesten Fassung vor. Das Problem ist nur, daß dies

a) händisch geschieht, ich hätte es gerne vollständig automatisiert gescriptet
b) dadurch die Datenmenge sehr groß ist, teilweise wird nach Datenvolumen abgerechnet, daher möchte ich nur die geänderten Dateien übertragen

Die für mich ideale Vorgehensweise wäre diese:

1. Ich starte auf dem Kundenserver ein Tool (das kann eine Batch-Datei, ein Kommandozeilentool oder ein PHP Programm sein), welches mir die aktuell vorhandenen Dateien in eine Datei oder Datenbank schreibt, mit Größe, Änderungsdatum und idealerweise mit einer Prüfsumme
2. ich übertrage die Datei und führe bei mir ein weiteres Tool aus, weches diese Datei mit meinem Datenbestand abgleicht und nur die geänderten bzw. neu hinzugekommenen PDF Dokumente in ein ZIP-Archiv packt
3. ich übertrage das ZIP mit den Änderungen wieder zurück zum Kunden
4. ein weiteres Tool sorgt dann dafür, daß die Dateien vom ZIP auf dem Kundenserver entpackt werden


Wie löse ich dieses Problem am besten vollautomatisiert? Habt Ihr Vorschläge für mich? Das Problem ist, es besteht nicht die ganze Zeit über eine Verbindung (VPN) zum Kundenserver, sondern eben nur, wenn ich ein Update einspiele.

Vorab herzlichen Dank für Eure Anregungen
Mitglied: 60730
05.01.2011 um 15:34 Uhr
moin,

  • Gegenfrage(n)

  • schonmal im Forum nach ftp batch/script gesucht?
  • Warum soll der Job "geteilt" werden?
  • wer pflegt die PDF Dateien - ausschliesslich Ihr oder auch der Kunde?

Im Prinzip hört sich dass doch so an, als ob Ihr einen Datenbestand der PDFfe bei euch habt und Ihr auch die Masterupdates derselben - ergo braucht Ihr doch keine Abfrage, welche Dateien in welcher Version auf dem Kundenserver sind, denn die kommen ja ursprünglich von euch.

  • btw: Pdffe zippen bringt zu 95% kaum den von Euch erwarteten Erfolg der Dateigrößenminimierung - im Gegenteil das erzeugt nur unnötig Last.
(u.a können nicht alle FTPServer und Clients abgebrochene Downloads wieder dort aufnehmen und fangen von wieder vorne an)

Ich würde alles auf einem System machen - Abfrage des Datenbestands und Abgleich mit aktuellem sowie den upload zum Ziel.

Gruß
Bitte warten ..
Mitglied: ITAnfaenger
05.01.2011 um 16:36 Uhr
Hallo nochmals,

Zitat von 60730:


  • schonmal im Forum nach ftp batch/script gesucht?

Ich habe vorab schon das Forum grob durchsucht, jedoch nach "Dateiabgleich" und nicht so wie von Dir vorgeschlagen. Ich war mir auch nicht richtig sicher, welche Kategorien im Forum hierfür die richtigen sind.

* Warum soll der Job "geteilt" werden?

Weil aufgrund der Sicherheitskonfiguration ich nicht gleichzeitig Zugriff auf unseren Dateipool und dem Kundenserver habe. Außerdem ist per VPN nur der Zugriff via Remotedesktop möglich, über FTP kann ich nichts übertragen, zumeist sind alle anderen Ports geblockt. Ich kann einzelne Dateien übertragen, darum wollte ich es auch in ein ZIP packen. Hier geht es mir nicht um eine mögliche Kompression der Daten (man kann ja auch ZIP Archive ohne Komprimierung erstellen), sondern lediglich darum, alle geänderten PDFs in nur einer einzigen Datei zu haben, da ich sonst jedes einzelne PDF händisch übertragen müsste.

* wer pflegt die PDF Dateien - ausschliesslich Ihr oder auch der Kunde?

Die Dateien werden nur von uns gepflegt. Teilweise durch externe Mitarbeiter. Daher weiß ich selbst vorab nicht immer, welche und wieviele Dateien sich geändert haben.


Im Prinzip hört sich dass doch so an, als ob Ihr einen Datenbestand der PDFfe bei euch habt und Ihr auch die Masterupdates
derselben - ergo braucht Ihr doch keine Abfrage, welche Dateien in welcher Version auf dem Kundenserver sind, denn die kommen ja
ursprünglich von euch.

Die Updateintervalle unterscheiden sich bei den Kunden. Was also beim Kunde A übertragen werden muß, muß nicht unbedingt bei Kunde B genau so sein

  • btw: Pdffe zippen bringt zu 95% kaum den von Euch erwarteten Erfolg der Dateigrößenminimierung - im Gegenteil das
erzeugt nur unnötig Last.
(u.a können nicht alle FTPServer und Clients abgebrochene Downloads wieder dort aufnehmen und fangen von wieder vorne an)

Ich würde alles auf einem System machen - Abfrage des Datenbestands und Abgleich mit aktuellem sowie den upload zum Ziel.

Das würde ich gerne, aber wie gesagt, habe ich nicht gleichzeitig Zugriff auf Quelle -> Ziel, sondern kann nur einzelne Dateien übertragen.


Ich hoffe, ich konnte nun mein Problem besser darstellen. Ich muß einmal den Ist-Stand beim Kunden ermitteln und dann diesen mit unserem Datenbestand abgleichen. Alle Änderungen sollen in einer einzigen Datei (ob ZIP oder was auch immer) zusammengefasst werden und möglichst automatisiert beim Kunden landen. Es wäre OK, wenn ich die Datei wieder zum Kunden übertrage und dort einen entsprechenden Import-Job händisch anschubse.

Nochmals danke für Eure Hilfe
Bitte warten ..
Mitglied: 60730
05.01.2011 um 19:54 Uhr
Salü,
ziemlich abstrakt - ich versuchs mal abstrakt zu beschreiben und vermute es geht erstmal nur um Funktionierende Wege - nicht um die Details derselben (fertige Scripte)

  • alle Änderungen kommen von dir - ergo hast du vor dem upload der neuesten Änderungen ja den Stand der vorherigen. (Stichwort versionierung)
  • Wenn das mit dem Datenvolumen so problematisch ist - bau eine Iso und brenn die Daten
  • Andernfalls RDP bietet auch die Funktion "lokale Datenträger" auf dem Ziel zu verbinden. So hättest du gleichzeitig auf q & z Zugriff.
  • Wenn es nicht so ist - dann baue ein Script in einer deiner Lieblingssprachen, dass regelmäßig per Cron/AT Job den Datenbestand ausliesst und eine MD5 oder banaler Dateidatum in eine Liste schreibt und die an Euch gemailt wird.
(Das geht aber nurohne viel weitere Sicherheitslücken aufzureissen, wenn die einen lokalen Mailserver haben)
  • 7Zip kann man Kommandozeilenbasiert anweisen "irgendwas" zusammen zu einem Zip zu fassen.
  • Auf den Zielmaschinen kann ein weiteres Script laufen (so löse ich das auf jeden Fall) - dass es regelmäßig überprüft, ob eine bestimmte CD im Laufwerk liegt - dort überprüft, ob diese bereits verarbeitet wurde und wenn das nicht der Fall ist zu reagieren - Daten ins Ziel entzippen und was sonst noch nötig ist.

Gruß
Bitte warten ..
Ähnliche Inhalte
Windows Netzwerk

VPN Verbindung, Ordnerumleitung - Langsame Verbindung!

gelöst Frage von MrNightWindows Netzwerk6 Kommentare

Hallo Gemeinde Ich suche mich schon seit einiger Zeit durch die Webseiten um die "besten Einstellungen" für die Ordnerumleitung ...

LAN, WAN, Wireless

Openvpn : Langsame Verbindung

Frage von D1nd141LAN, WAN, Wireless17 Kommentare

Hallo, hab nen Openvpn Server (Debian) als Gast unter Vmware ESXI laufen. Als Router einen Mikrotik der auch meine ...

LAN, WAN, Wireless

Langsame Verbindung zu FRITZ!Box

Frage von eQuestLAN, WAN, Wireless1 Kommentar

Hallo! Ich benutze einen Wireless Router von TPLink (TL-WR940N / TL-WR941ND), welcher Verbindungspunkt für alle Benutzer ist (WLAN/LAN). Dieser ...

Debian

Samba Verbindung extrem langsam

gelöst Frage von gewaACDebian2 Kommentare

Hallo Leute, ich habe hier auf einem System Samba installiert und eine einfache Freigabe erstellt. Wenn ich mich nun ...

Neue Wissensbeiträge
Humor (lol)
IoT-Gefahr: Smartes Aquarium leckt!
Information von Lochkartenstanzer vor 17 StundenHumor (lol)3 Kommentare

Moin, Die IoT-Manie hat weitere Opfer gefunden. Ein Casino-Leck durch ein smartes Aquarium: Allerdings haben sie kein Wasser, sondern ...

Router & Routing

Alte Fritzbox 7270 mit VPN und SIP-Telefonie hinter O2 Homebox 6641 als "Modem"

Erfahrungsbericht von the-buccaneer vor 1 TagRouter & Routing3 Kommentare

Nun war es soweit: Auch O2 hat mich mit VOIP zwangsbeglückt. Heute am Privatanschluss, in 2 Wochen ist das ...

Sicherheit

Ungepatchte Remote Code Execution-Lücke in LG NAS

Information von kgborn vor 1 TagSicherheit

Nutzt wer LG NAS-Einheiten? In den NAS-Einheiten der LG Network Storage-Einheiten gibt es eine sehr unschöne Schwachstelle, die einen ...

Windows Update

Neue Version KB4099950 NIC Einstellungen gehen verloren

Information von sabines vor 1 TagWindows Update2 Kommentare

Es ist eine neue Version des KB4099950 verfügbar, die das Problem mit den verlorenen Netzwerkeinstellungen lösen soll. Das Datum ...

Heiß diskutierte Inhalte
Sicherheit
Verbindliche Zustellung per E-Mail?
Frage von ahussainSicherheit18 Kommentare

Hallo allerseits, ein Kunde von mir nutzt intensiv Fax. Hauptgrund: zusammen mit einer Empfangsbestätigung ist eine verbindliche Zustellung gewährleistet. ...

Sonstige Systeme
Wie Normenkataloge im Unternehmen bereit stellen?
Frage von MuzzepuckelSonstige Systeme14 Kommentare

Hallo Kollegen, ich lese schon lange hier mit, nun mein ersrer Beitrag, bzw. Frage. :-) Wir benötigen für unsere ...

Linux Netzwerk
Raspberry Pi 3: WLAN Power save deaktivieren
Frage von nordie92Linux Netzwerk13 Kommentare

Moin moin, mein Raspberry Pi 3 Model B benötigt eine dauerhaft aktive WLAN-Verbindung. Leider bricht die WLAN-Verbindung nach einigen ...

SAN, NAS, DAS
Entscheidung SAN Dell oder HP
Frage von VincorSAN, NAS, DAS13 Kommentare

Hallo, wir wollen uns für unsere Hyper V Umgebung eine neue SAN Anschaffen. Es laufen 30 VM's darunter, DC; ...