Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Frage Microsoft Windows Tools

Dateiabgleich über langsame Verbindung - nur geänderte Dateien übertragen

Mitglied: ITAnfaenger

ITAnfaenger (Level 1) - Jetzt verbinden

05.01.2011 um 15:16 Uhr, 3286 Aufrufe, 3 Kommentare

Hallo zusammen,

ich habe folgende Problemstellung und wollte mich schlau machen, wie ich das Ganze am besten angehe

Ich muß öfters Dokumente auf den Servern von Kunden aktualisieren. Diese setzen eine Software von uns ein (in PHP programmiert), dazu haben die Kunden einige hundert PDF-Dateien, welche teil der Software sind und regelmäßig aktualisiert werden müssen.
Bei einem Update der PDF-Dateien wird jeweils die alte PDF Datei mit einer neuen Version überschrieben, d.h. die Dateinamen bleiben dieselben.

Normalerweise könnte ich jetzt die ganzen PDF-Dateien (d.h. den kompletten Ordner) mit einer neuen Version überschreiben, somit liegen ja alle PDFs in der jeweilig neuesten Fassung vor. Das Problem ist nur, daß dies

a) händisch geschieht, ich hätte es gerne vollständig automatisiert gescriptet
b) dadurch die Datenmenge sehr groß ist, teilweise wird nach Datenvolumen abgerechnet, daher möchte ich nur die geänderten Dateien übertragen

Die für mich ideale Vorgehensweise wäre diese:

1. Ich starte auf dem Kundenserver ein Tool (das kann eine Batch-Datei, ein Kommandozeilentool oder ein PHP Programm sein), welches mir die aktuell vorhandenen Dateien in eine Datei oder Datenbank schreibt, mit Größe, Änderungsdatum und idealerweise mit einer Prüfsumme
2. ich übertrage die Datei und führe bei mir ein weiteres Tool aus, weches diese Datei mit meinem Datenbestand abgleicht und nur die geänderten bzw. neu hinzugekommenen PDF Dokumente in ein ZIP-Archiv packt
3. ich übertrage das ZIP mit den Änderungen wieder zurück zum Kunden
4. ein weiteres Tool sorgt dann dafür, daß die Dateien vom ZIP auf dem Kundenserver entpackt werden


Wie löse ich dieses Problem am besten vollautomatisiert? Habt Ihr Vorschläge für mich? Das Problem ist, es besteht nicht die ganze Zeit über eine Verbindung (VPN) zum Kundenserver, sondern eben nur, wenn ich ein Update einspiele.

Vorab herzlichen Dank für Eure Anregungen
Mitglied: 60730
05.01.2011 um 15:34 Uhr
moin,

  • Gegenfrage(n)

  • schonmal im Forum nach ftp batch/script gesucht?
  • Warum soll der Job "geteilt" werden?
  • wer pflegt die PDF Dateien - ausschliesslich Ihr oder auch der Kunde?

Im Prinzip hört sich dass doch so an, als ob Ihr einen Datenbestand der PDFfe bei euch habt und Ihr auch die Masterupdates derselben - ergo braucht Ihr doch keine Abfrage, welche Dateien in welcher Version auf dem Kundenserver sind, denn die kommen ja ursprünglich von euch.

  • btw: Pdffe zippen bringt zu 95% kaum den von Euch erwarteten Erfolg der Dateigrößenminimierung - im Gegenteil das erzeugt nur unnötig Last.
(u.a können nicht alle FTPServer und Clients abgebrochene Downloads wieder dort aufnehmen und fangen von wieder vorne an)

Ich würde alles auf einem System machen - Abfrage des Datenbestands und Abgleich mit aktuellem sowie den upload zum Ziel.

Gruß
Bitte warten ..
Mitglied: ITAnfaenger
05.01.2011 um 16:36 Uhr
Hallo nochmals,

Zitat von 60730:


  • schonmal im Forum nach ftp batch/script gesucht?

Ich habe vorab schon das Forum grob durchsucht, jedoch nach "Dateiabgleich" und nicht so wie von Dir vorgeschlagen. Ich war mir auch nicht richtig sicher, welche Kategorien im Forum hierfür die richtigen sind.

* Warum soll der Job "geteilt" werden?

Weil aufgrund der Sicherheitskonfiguration ich nicht gleichzeitig Zugriff auf unseren Dateipool und dem Kundenserver habe. Außerdem ist per VPN nur der Zugriff via Remotedesktop möglich, über FTP kann ich nichts übertragen, zumeist sind alle anderen Ports geblockt. Ich kann einzelne Dateien übertragen, darum wollte ich es auch in ein ZIP packen. Hier geht es mir nicht um eine mögliche Kompression der Daten (man kann ja auch ZIP Archive ohne Komprimierung erstellen), sondern lediglich darum, alle geänderten PDFs in nur einer einzigen Datei zu haben, da ich sonst jedes einzelne PDF händisch übertragen müsste.

* wer pflegt die PDF Dateien - ausschliesslich Ihr oder auch der Kunde?

Die Dateien werden nur von uns gepflegt. Teilweise durch externe Mitarbeiter. Daher weiß ich selbst vorab nicht immer, welche und wieviele Dateien sich geändert haben.


Im Prinzip hört sich dass doch so an, als ob Ihr einen Datenbestand der PDFfe bei euch habt und Ihr auch die Masterupdates
derselben - ergo braucht Ihr doch keine Abfrage, welche Dateien in welcher Version auf dem Kundenserver sind, denn die kommen ja
ursprünglich von euch.

Die Updateintervalle unterscheiden sich bei den Kunden. Was also beim Kunde A übertragen werden muß, muß nicht unbedingt bei Kunde B genau so sein

  • btw: Pdffe zippen bringt zu 95% kaum den von Euch erwarteten Erfolg der Dateigrößenminimierung - im Gegenteil das
erzeugt nur unnötig Last.
(u.a können nicht alle FTPServer und Clients abgebrochene Downloads wieder dort aufnehmen und fangen von wieder vorne an)

Ich würde alles auf einem System machen - Abfrage des Datenbestands und Abgleich mit aktuellem sowie den upload zum Ziel.

Das würde ich gerne, aber wie gesagt, habe ich nicht gleichzeitig Zugriff auf Quelle -> Ziel, sondern kann nur einzelne Dateien übertragen.


Ich hoffe, ich konnte nun mein Problem besser darstellen. Ich muß einmal den Ist-Stand beim Kunden ermitteln und dann diesen mit unserem Datenbestand abgleichen. Alle Änderungen sollen in einer einzigen Datei (ob ZIP oder was auch immer) zusammengefasst werden und möglichst automatisiert beim Kunden landen. Es wäre OK, wenn ich die Datei wieder zum Kunden übertrage und dort einen entsprechenden Import-Job händisch anschubse.

Nochmals danke für Eure Hilfe
Bitte warten ..
Mitglied: 60730
05.01.2011 um 19:54 Uhr
Salü,
ziemlich abstrakt - ich versuchs mal abstrakt zu beschreiben und vermute es geht erstmal nur um Funktionierende Wege - nicht um die Details derselben (fertige Scripte)

  • alle Änderungen kommen von dir - ergo hast du vor dem upload der neuesten Änderungen ja den Stand der vorherigen. (Stichwort versionierung)
  • Wenn das mit dem Datenvolumen so problematisch ist - bau eine Iso und brenn die Daten
  • Andernfalls RDP bietet auch die Funktion "lokale Datenträger" auf dem Ziel zu verbinden. So hättest du gleichzeitig auf q & z Zugriff.
  • Wenn es nicht so ist - dann baue ein Script in einer deiner Lieblingssprachen, dass regelmäßig per Cron/AT Job den Datenbestand ausliesst und eine MD5 oder banaler Dateidatum in eine Liste schreibt und die an Euch gemailt wird.
(Das geht aber nurohne viel weitere Sicherheitslücken aufzureissen, wenn die einen lokalen Mailserver haben)
  • 7Zip kann man Kommandozeilenbasiert anweisen "irgendwas" zusammen zu einem Zip zu fassen.
  • Auf den Zielmaschinen kann ein weiteres Script laufen (so löse ich das auf jeden Fall) - dass es regelmäßig überprüft, ob eine bestimmte CD im Laufwerk liegt - dort überprüft, ob diese bereits verarbeitet wurde und wenn das nicht der Fall ist zu reagieren - Daten ins Ziel entzippen und was sonst noch nötig ist.

Gruß
Bitte warten ..
Ähnliche Inhalte
Windows Netzwerk
VPN Verbindung, Ordnerumleitung - Langsame Verbindung!
gelöst Frage von MrNightWindows Netzwerk6 Kommentare

Hallo Gemeinde Ich suche mich schon seit einiger Zeit durch die Webseiten um die "besten Einstellungen" für die Ordnerumleitung ...

LAN, WAN, Wireless
Openvpn : Langsame Verbindung
Frage von D1nd141LAN, WAN, Wireless17 Kommentare

Hallo, hab nen Openvpn Server (Debian) als Gast unter Vmware ESXI laufen. Als Router einen Mikrotik der auch meine ...

Netzwerkgrundlagen
VPN-Verbindung tierisch langsam
gelöst Frage von lord-iconNetzwerkgrundlagen2 Kommentare

Moinz, folgende Konstallation: Standort 1: SDSL mit 2MB up/down (Draytek VIGOR 2820) Standort 2: Kabel mit 100MB down // ...

LAN, WAN, Wireless
Langsame Verbindung zu FRITZ!Box
Frage von eQuestLAN, WAN, Wireless1 Kommentar

Hallo! Ich benutze einen Wireless Router von TPLink (TL-WR940N / TL-WR941ND), welcher Verbindungspunkt für alle Benutzer ist (WLAN/LAN). Dieser ...

Neue Wissensbeiträge
Linux

Meltdown und Spectre: Linux Update

Information von Frank vor 1 TagLinux

Meltdown (Variante 3 des Prozessorfehlers) Der Kernel 4.14.13 mit den Page-Table-Isolation-Code (PTI) ist nun für Fedora freigegeben worden. Er ...

Tipps & Tricks

Solutio Charly Updater Fehlermeldung: Das Abgleichen der Dateien in -Pfad- mit dem Datenobject ist fehlgeschlagen

Tipp von StefanKittel vor 1 TagTipps & Tricks

Hallo, hier einmal als Tipp für alle unter Euch die mit der Zahnarztabrechnungssoftware Charly von Solutio zu tun haben. ...

Sicherheit

Meltdown und Spectre: Wir brauchen eine "Abwrackprämie", die die CPU-Hersteller bezahlen

Information von Frank vor 1 TagSicherheit12 Kommentare

Zum aktuellen Thema Meltdown und Spectre: Ich wünsche mir von den CPU-Herstellern wie Intel, AMD oder ARM eine Art ...

Sicherheit

Meltdown und Spectre: Realitätscheck

Information von Frank vor 1 TagSicherheit9 Kommentare

Die unangenehme Realität Der Prozessorfehler mit seinen Varianten Meltdown und Spectre ist seit Juni 2017 bekannt. Trotzdem sind immer ...

Heiß diskutierte Inhalte
Sicherheit
Meltdown und Spectre: Die machen uns alle was vor
Information von FrankSicherheit29 Kommentare

Aktuell sieht es in den Medien so aus, als hätten die Hersteller wie Intel, Microsoft und Co den aktuellen ...

SAN, NAS, DAS
Hilfe beim Einrichten eines Storages (SAN)
gelöst Frage von Vader666SAN, NAS, DAS15 Kommentare

Hallo Admins! Ich bin in einer kleineren Firma und hatte bisher mit dem Thema SAN nur in meiner Ausbildung ...

Monitoring
VPN Performance Zyxel-Fritte
gelöst Frage von HenereMonitoring13 Kommentare

Servus, nachdem ihr mir ja schon so gut helfen konntet, was das VPN zwischen Zyxel USG60W und Fritte 7490 ...

Batch & Shell
Meltdown Microsoft Prüf Script - .zip Datei leider leer
gelöst Frage von MasterBlaster88Batch & Shell13 Kommentare

Hallo zusammen, ich patche gerade unsere Windows Server bzgl. der Meltdown Lücke. Patch vorhanden, Reg Keys gesetzt Um das ...