Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

FTP Vorgang mittels Batch Datei automatisieren

Frage Entwicklung Batch & Shell

Mitglied: Ajintaro

Ajintaro (Level 1) - Jetzt verbinden

20.08.2010 um 11:00 Uhr, 5088 Aufrufe, 4 Kommentare

Guten Morgen liebe Administrator.de Member. Ich bin gerade eben hier reingestolpert

Ich habe mich bemueht die Foren- und Googlesuche zu nutzen bevor ich euch mit meinem Problem belaestige. Allerdings konnte ich mein Problem nur zum Teil loesen und erhoffe mir einige Tipps von euch. Die problemstellung ist sicherlich nichts neues: taeglich wird ein file auf einem Sun Server erzeugt, welches ich taeglich auf meinem Win XP PC lokal sichern muss. Das muss ich nun Tag fuer Tag machen... ich bin mir sicher dass man soetwas automatisieren kann. Ich versuche diesen Post so angenehm wie moeglich zu verfassen.

Ich moechte euch nun erstmal ein paar Detailinformationen zur Situation geben, dann meine bisherigen Loesungsansaetze.

(1) DIE SITUATION

Der Sun-Server hat in einem Verzeichnis dutzende *.zip-Dateien:
.....
ABC-goo-100816.zip
ABC-goo-100817.zip
ABC-goo-100818.zip
ABC-goo-100819.zip
ABC-goo-100820.zip

An jedem Tag kommt eine weitere Datei hinzu. Morgen dementsprechend ABC-goo-100821.zip.
Ich moechte jeden Morgen die neuste Datei vom Server herunterladen - dabei gilt zu pruefen ob die Datei nicht schon bei mir lokal vorhanden ist.

(2) MEIN LOESUNGSANSAETZE

Eine Mischung aus Batch File und FTP sollte mein Anliegen loesen. Zunaechst wollte ich wissen, in wie weit mir FTP entgegen kommen kann. Ich bin leider kein Admin-crack und kenne nur Standard Befehle. Ich habe eine test.ftp Datei geschrieben mit folgendem Inhalt:

OPEN sunserver.geheim.de
horst
uschi
CD 123/DatenTrak/Zip

Aufgerufen wir das mit einer Batch Datei:

ftp -s:vtc.ftp

Soweit so gut. Ich connecte mich auf den Sunserver und bin im richtigen Verzeichnis. Wenn ich nun den Befehl dir *.zip eingebe bekomme ich alle .zip Dateien aufgelistet. Der Befehl ls -ltr sortiert alle Dateien nach Datum (absteigend). Eine Kombination beider Befehle ist imho nicht moeglich... ich hab viel ausprobiert aber ich habe es nicht geschafft, dem FTP eine Liste der neusten .zip Dateien zu entlocken.

Also wollte ich folgenden Trick anwenden: mittels ls *.zip > output.txt erhalte ich dann eine Textdatei mit dem inhalt:

ABC-goo-100816.zip
ABC-goo-100817.zip
ABC-goo-100818.zip
ABC-goo-100819.zip
ABC-goo-100820.zip

Nun waere es doch toll, wenn eine weitere (oder die selbe) batch Datei diese Ergebnisdatei durchwuehlt und mir (abhaengig vom aktuellen Datum) ABC-goo-100820.zip ausspuckt. Damit kann ich dann eine weitere FTP Session starten und die Datei ziehen. Das wuerde mir schon extrem weiterhelfen. Allerdings ist Batch-Programmierung wasa fuer Halbgoetter.... und definitiv zu schwierig fuer mich.

Ein epischer Text und ein kniffliges Problem. Wisst ihr Rat?
Mitglied: 60730
20.08.2010 um 11:04 Uhr
Moin und willkommen..

[OT]
Horst und Uschi - ich vermute du bist mir sympathisch
[/OT]

Such mal nach FTP & Batch, da wirst du so einiges finden, was zu deiner Aufgabe passt.

Ich würde allerdings nicht das Datum heranziehen - denn lief aus Grund xyz an einem Tag die Batch nicht - fehlt dir die zip aus diesem Tag.

Eher - so wie du es angedacht hast und wir schon so realisiert haben:

via ls *.zip eine Liste aller Dateien auf dem FTP und via dir /B *.zip auf dem Horst von der Uschi.
Alles was im FTP und nicht auf dem lokalen Uschihorst liegt saugen...


Oder ganz andreaskreuzherum...

Nimm WGET und dort den parameter -n
01.
wget.exe -Y -N -i C:\meineliste-aller_zips_auf_dem_ftp.txt -P C:\mein_lokaler_Ziel_Ordner\
Gruß
Bitte warten ..
Mitglied: Friemler
20.08.2010 um 20:41 Uhr
Hallo Ajintaro,

hier ein Vorschlag zur Lösung Deines Problems. Da ich keinen schreibenden Zugriff auf einen FTP-Server habe, konnte ich keine Test-Dateien erzeugen um das Skript komplett zu testen. Bei Fehlfunktionen bitte Rückmeldung geben.
01.
@echo off 
02.
 
03.
setlocal 
04.
 
05.
cls 
06.
 
07.
set "FTPGetDir=%TEMP%\ftpcmd.txt" 
08.
set "FTPGetFile=%TEMP%\ftpcmd.txt" 
09.
set "FTPServer=ftp.dein_server" 
10.
set "Usr=horst" 
11.
set "Pwd=uschi" 
12.
set "RemoteDir=123/DatenTrak/Zip" 
13.
set "FileType=zip" 
14.
set "RemoteDirList=%TEMP%\FileList.txt" 
15.
set "LocalRepository=DeinZielOrdner" 
16.
 
17.
 
18.
del "%RemoteDirList%" 2>NUL 
19.
 
20.
 
21.
echo Hole Verzeichnis %RemoteDir% vom FTP-Server 
22.
echo. 
23.
 
24.
> "%FTPGetDir%" echo open %FTPServer% 
25.
>>"%FTPGetDir%" echo user %Usr% %Pwd% 
26.
>>"%FTPGetDir%" echo cd "%RemoteDir%" 
27.
>>"%FTPGetDir%" echo ls -ltr "%RemoteDirList%" 
28.
>>"%FTPGetDir%" echo bye 
29.
 
30.
ftp -n -s:"%FTPGetDir%" 
31.
del "%FTPGetDir%" 
32.
echo. 
33.
 
34.
 
35.
call :GetDate 
36.
set "dat=%errorlevel%" 
37.
 
38.
 
39.
echo Suche in Verzeichnis %RemoteDir% nach Datei vom %date% ... 
40.
 
41.
for /f "usebackq tokens=9,*" %%f in ("%RemoteDirList%") do ( 
42.
  if "%%g" neq "" ( 
43.
    call :ProcessFilename "%%f %%g" %dat% && (echo Gefunden & echo. & call :CopyFile "%%f %%g" & exit /b) 
44.
  ) else ( 
45.
    call :ProcessFilename "%%f" %dat% && (echo Gefunden & echo. & call :CopyFile "%%f" & exit /b) 
46.
47.
48.
 
49.
echo Nicht gefunden 
50.
echo. 
51.
 
52.
exit /b 
53.
 
54.
 
55.
 
56.
:ProcessFilename 
57.
setlocal 
58.
 
59.
if /i "%~x1" neq ".%FileType%" exit /b 1 
60.
 
61.
set "fname=%~1" 
62.
set "dat=%2" 
63.
 
64.
for /f "tokens=3 delims=-." %%f in ("%fname%") do ( 
65.
  if "%%f" equ "%dat%" ( 
66.
    exit /b 0 
67.
68.
69.
 
70.
exit /b 1 
71.
 
72.
 
73.
 
74.
:CopyFile 
75.
setlocal 
76.
 
77.
if exist "%LocalRepository%\%~1" ( 
78.
  echo Datei %~1 wurde schon vom FTP-Server geladen. 
79.
  echo. 
80.
  exit /b 
81.
82.
 
83.
echo Hole Datei %~1 vom FTP-Server 
84.
echo. 
85.
 
86.
> "%FTPGetFile%" echo open %FTPServer% 
87.
>>"%FTPGetFile%" echo user %Usr% %Pwd% 
88.
>>"%FTPGetFile%" echo binary 
89.
>>"%FTPGetFile%" echo cd "%RemoteDir%" 
90.
>>"%FTPGetFile%" echo get "%~1" "%LocalRepository%\%~1" 
91.
>>"%FTPGetFile%" echo bye 
92.
 
93.
ftp -n -s:"%FTPGetFile%" 
94.
del "%FTPGetFile%" 
95.
echo. 
96.
 
97.
exit /b 
98.
 
99.
 
100.
 
101.
:GetDate 
102.
setlocal enabledelayedexpansion 
103.
 
104.
for /f "tokens=1-3 delims=." %%d in ("%date%") do set "dat=%%f%%e%%d" 
105.
set "dat=%dat:~-6%" 
106.
 
107.
exit /b %dat%

Voraussetzungen

  • Das Muster, nach dem die Dateinamen aufgebaut sind, muss so, wie in Deiner Aufgabenstellung beschrieben, sein: Der Dateiname besteht aus drei Gruppen alphanumerischer Zeichen, die durch ein Minuszeichen getrennt sind. Das Minuszeichen darf in keiner der drei Gruppen vorkommen. Die letzte Gruppe stellt das Datum im Format YYMMDD dar, danach kommt optional ein Punkt und der Dateityp.

  • Der FTP-Server sollte immer erreichbar sein. Das Skript zeigt die Ausgaben des FTP-Befehls und damit auch die Fehlermeldungen zwar an, Du musst dann aber selbst auf Fehlermeldungen achten (z.B. beim CD-Befehl Verzeichnis nicht gefunden).


Erklärung

In den Zeilen 7-15 werden sämtliche Einstellungen für das Skript festgelegt.
  • FTPGetDir und FTPGetFile geben Pfade zu temporären Dateien an, in die die FTP-Skripte geschrieben werden.

  • FTPServer ist die Adresse des Servers, Usr der Benutzername und Pwd das Passwort für die Anmeldung. RemoteDir ist das Verzeichnis auf dem Server, das ausgelesen werden soll.

  • FileType gibt den Typ der Dateien an, die von dem Skript verarbeitet werden sollen.

  • RemoteDirList ist die Datei auf Deinem lokalen Rechner, in die das Listing des Server-Verzeichnisses geschrieben wird.

  • LocalRepository gibt den Pfad zum Speicherort der Dateien an, die Du jeden Tag vom Server laden willst.

Da die Datei RemoteDirList am Ende des Skripts nicht gelöscht wird, wird das am Anfang in Zeile 18 gemacht. So wird kein Datenmüll aus dem letzten Skriptlauf verarbeitet, falls der FTP-Server mal nicht erreichbar sein sollte.

In Zeile 24-28 wird das temporäre FTP-Skript erzeugt um das Verzeichnis auf dem FTP-Server einzulesen. Durch Zeile 30 wird es ausgeführt und durch Zeile 32 wieder gelöscht.

In Zeile 35 wird eine Funktion aufgerufen, die das aktuelle Datum ermittelt und in das Format YYMMDD überführt. Das Ergebnis der Funktion wird in ERRORLEVEL zurückgegeben.

Die FOR-Schleife in Zeile 41-47 ist die Steuerzentrale des Skripts. Die Datei RemoteDirList wird zeilenweise ausgelesen und der Dateiname extrahiert (der auch Leerzeichen enthalten kann). Enthält der Name Leerzeichen, wird die Funktion ProcessFilename durch Zeile 43 aufgerufen; ohne Leerzeichen erfolgt der Aufruf in Zeile 45. ProcessFilename prüft pro Schleifendurchlauf einen Dateinamen im Verzeichnislisting des Servers, ob er der richtige ist.

ProcessFilename erhält als 1. Parameter den Dateinamen und als 2. Parameter das gewünschte Datum. In Zeile 59 wird erstmal kontrolliert, ob die Datei den erforderlichen Typ hat. Wenn nicht, erfolgt ein Rücksprung in die aufrufende FOR-Schleife mit dem Funktionsergebnis 1 (diese Datei ist nicht die Richtige).

Die FOR-Schleife in Zeile 64-68 extrahiert aus dem Dateinamen das Datum und vergleicht es mit dem gewünschten Wert. Bei Übereinstimmung erfolgt in Zeile 66 ein Rücksprung mit dem Funktionsergebenis 0 (richtige Datei gefunden). Ansonsten wird die Funktion durch Zeile 70 mit dem Funktionsergebnis 1 beendet (diese Datei ist nicht die Richtige).

Der Operator && in den Zeilen 43 und 45 führt dazu, daß die Befehle in der Klammer dahinter nur ausgeführt werden, wenn ProcessFilename eine 0 (Datei gefunden) zurückgegeben hat. Die Operatoren & in der Klammer verketten nur die einzelnen Befehle, alle werden ausgeführt.

Es wird also zunächst mal die Meldung "Gefunden" und ein Zeilenvorschub ausgegeben und dann die Prozedur CopyFile mit dem Dateinamen als Parameter aufgerufen. Wenn CopyFile ausgeführt wurde, wird das Skript durch EXIT /B beendet. Wenn ProcessFilename die gewünschte Datei im Verzeichnislisting des Servers nicht gefunden hat, wird Zeile 49 ausgeführt (Meldung "Nicht gefunden") und das Skript danach beendet.

In der Prozedur CopyFile wird in Zeile 77 geprüft, ob die Datei auf dem lokalen Rechner schon vorhanden ist. Wenn ja wird eine entsprechende Meldung ausgegeben und ein Rücksprung ausgeführt.

Ansonsten wird in den Zeilen 86-91 wieder ein temporäres FTP-Skript erzeugt, das die Befehle zum download der Datei enthält. In Zeile 93 wird es ausgeführt und in Zeile 94 wieder gelöscht.

Die FOR-Schleife in der Funktion GetDate zerlegt das aktuelle Datum in seine Bestandteile (Trennzeichen ist wegen delims=. der Punkt) und setzt es im Format YYYYMMDD wieder zusammen. In Zeile 105 werden die letzten 6 Zeichen extrahiert und in ERRORLEVEL zurückgegeben.

Gruß
Friemler
Bitte warten ..
Mitglied: 60730
20.08.2010 um 23:29 Uhr
moin Friemler,

da hast du dir aber "viel" Mühe gegeben

Leider ist die Syntax vom FTP falsch

Statt:
25. >>"%FTPGetDir%" echo user %Usr% %Pwd%

muß es lauten:
25. >>"%FTPGetDir%" echo %Usr%
26. >>"%FTPGetDir%" echo %Pwd%
bzw: auch in Ihrer Variante zum saugen:
87a,87b
und neue Zeile 88:
88. >>"%FTPGetDir%" echo binary
Das gäbe ansonsten lokal feinsten Datenmüll, wenn er zips ohne diesen Befehl absaugt

Aber wie geschrieben, wenn er Wget benutzen kann, reduziert sich der ganze Kram auf ein minimum und ist deutlich flexibler.
(Wenn im Ordner auch andere zip, die nicht gesaugt werden sollen - natürlich nicht - da müsste man eine zusätzliche findstr /v Zeile einpassen).

Gruß
Bitte warten ..
Mitglied: Friemler
20.08.2010 um 23:48 Uhr
Hallo Timo,

Zitat von 60730:
Statt:
> 25. >>"%FTPGetDir%" echo user %Usr% %Pwd%

muß es lauten:
> 25. >>"%FTPGetDir%" echo %Usr%
> 26. >>"%FTPGetDir%" echo %Pwd%

also bei mir funktioniert meine Zeile 25 (kann mich so z.B. am AVM-FTP-Server mit User anonymous, Passw. anonymous@example.com anmelden). USER ist ein FTP-Subbefehl, der genau diese Syntax hat. Liegt das vielleicht am Parameter -N bei Aufruf von FTP in Zeile 30 bzw. 92 93?

und neue Zeile 88:
> 88. >>"%FTPGetDir%" echo binary
Das gäbe ansonsten lokal feinsten Datenmüll, wenn er zips ohne diesen Befehl absaugt

Tja, das ist meine mangelnde Routine mit FTP, hab' ich verschwitzt. Danke für den Hinweis, werde es oben ändern.

Gruß
Friemler
Bitte warten ..
Neuester Wissensbeitrag
Heiß diskutierte Inhalte
Windows Userverwaltung
Ausgeschiedene Mitarbeiter im Unternehmen - was tun mit den AD Konten? (33)

Frage von patz223 zum Thema Windows Userverwaltung ...

LAN, WAN, Wireless
FritzBox, zwei Server, verschiedene Netze (21)

Frage von DavidGl zum Thema LAN, WAN, Wireless ...

Viren und Trojaner
Aufgepasst: Neue Ransomware Goldeneye verbreitet sich rasant (20)

Link von Penny.Cilin zum Thema Viren und Trojaner ...

Windows Netzwerk
Windows 10 RDP geht nicht (18)

Frage von Fiasko zum Thema Windows Netzwerk ...