Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit
GELÖST

Datei automatisch downloaden (Problem mit robots.txt Restriktion und wget)

Frage Entwicklung Batch & Shell

Mitglied: peterha

peterha (Level 1) - Jetzt verbinden

10.07.2014, aktualisiert 12:23 Uhr, 1941 Aufrufe, 7 Kommentare

Moin zusammen,

ich will eine Datei automatisch herunterladen lassen. Der Job wird per Aufgabenplanung gestartet. Rufe ich meine CMD manuell auf funktioniert der Download.
Über die Aufgabenplanung geht's nicht. Fehler: "Entferne "Hosts.zip.1", da dies zurückgewiesen werden soll.

Hintergrund ist, dass wget sich an dieses weiche Verbot der Robots.txt hält und diese Datei nicht mir zur Verfügung stellen will.

Mein Skript

01.
"C:\Program Files (x86)\GnuWin32\bin\wget.exe" -p -nd -l 1 -e robots=off -A zip "http://winhelp2002.mvps.org/hosts.zip"
Nachdem was ich bei Google fand, soll ich dennoch downloaden können mit -e robots=off
Geht aber nicht. (Meldung wie oben)

Hat jemand eine Idee, wie ich das mit wget lösen kann? Oder anders?

Danke für eure Hilfe.

Peter
Mitglied: MisterExpulso
10.07.2014 um 01:00 Uhr
Hallo Peter,

hast du mal versucht, eine Wartezeit einzubauen (Parameter --wait 1).
Vgl. http://wget.addictivecode.org/FrequentlyAskedQuestions#How_can_I_make_W ...


Gruß,
Marius
Bitte warten ..
Mitglied: peterha
10.07.2014 um 01:08 Uhr
Moin Marius,

soeben auf deinen Rat hin.

Neuer Code
01.
"C:\Program Files (x86)\GnuWin32\bin\wget.exe" -p -nd -l 1 -e robots=off --wait 0.25 -A txt "http://winhelp2002.mvps.org/hosts.txt" 
02.
pause
Fehlermeldung ist genau so geblieben. Habe auch mal statt 0.25 0.77 und 3 eingetragen. Selbes Problem.
Bitte warten ..
Mitglied: SlainteMhath
LÖSUNG 10.07.2014, aktualisiert um 12:23 Uhr
Moin,

bei mir funktioniert das ganze problemlos mit wget und zwar komplett ohne zusätzliche Paramter ("-p -nd -l 1" sind in dem Fall sowieso obsolet)

01.
wget http://winhelp2002.mvps.org/hosts.txt 
02.
--08:56:35--  http://winhelp2002.mvps.org/hosts.txt 
03.
           => `hosts.txt' 
04.
Resolving winhelp2002.mvps.org... done. 
05.
Connecting to winhelp2002.mvps.org[216.155.126.40]:80... connected. 
06.
HTTP request sent, awaiting response... 200 OK 
07.
Length: 509,407 [text/plain] 
08.
 
09.
08:56:38 (204.30 KB/s) - `hosts.txt' saved [509407/509407]
lg,
Slainte
Bitte warten ..
Mitglied: peterha
10.07.2014 um 11:50 Uhr
Moin,

Wenn ich das weglasse schreibt er nicht mehr das mit dem Zurückgewiesen. Er sagt, dass die Hosts.txt.4 gespeichert wurde.

01.
C:\Windows\system32>"C:\Program Files (x86)\GnuWin32\bin\wget.exe" -e robots=off 
02.
 --wait 0.77 -A txt "http://winhelp2002.mvps.org/hosts.txt" 
03.
SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc 
04.
syswgetrc = C:\Program Files (x86)\GnuWin32/etc/wgetrc 
05.
--2014-07-10 11:33:01--  http://winhelp2002.mvps.org/hosts.txt 
06.
Auflösen des Hostnamen »winhelp2002.mvps.org«.... 216.155.126.40 
07.
Verbindungsaufbau zu winhelp2002.mvps.org|216.155.126.40|:80... verbunden. 
08.
HTTP Anforderung gesendet, warte auf Antwort... 200 OK 
09.
Länge: 509407 (497K) [text/plain] 
10.
In »hosts.txt.4« speichern. 
11.
 
12.
100%[======================================>] 509.407      320K/s   in 1,6s 
13.
 
14.
2014-07-10 11:33:03 (320 KB/s) - »hosts.txt.4« gespeichert [509407/509407] 
15.
 
16.
 
17.
C:\Windows\system32>pause 
18.
Drücken Sie eine beliebige Taste . . .

Wo liegt die Datei jetzt? In den Temp Internet Files finde ich sie nicht. In der Windows-Suche und im Hauptverzeichnis von wget auch nicht.

Danke für den Tipp.
Bitte warten ..
Mitglied: SlainteMhath
LÖSUNG 10.07.2014, aktualisiert um 12:23 Uhr
Wo liegt die Datei jetzt?
Unter C:\Windows\system32 und liegen da hosts.txt, hosts.txt.1, hosts.txt.2, hosts.txt.3 und hosts.txt.4
Bitte warten ..
Mitglied: Gersen
LÖSUNG 10.07.2014, aktualisiert um 12:23 Uhr
Hallo,

zwei nützliche Optionen für WGET:

-N (lädt die Datei nur herunter, wenn sie neuer ist und überschreibt die ursprüngliche Datei - d.h., es entstehen keine hosts.txt.1, 2, 3 etc.)

-O Pfad\zur\Datei (lädt die Datei herunter und speichert sie -unter dem neuen Namen- im angegebenen Ordner).

Gruß,
Gersen
Bitte warten ..
Mitglied: peterha
10.07.2014 um 12:25 Uhr
Cool! Danke allen. Jetzt läuft es.

Fertiger Code

01.
"C:\Program Files (x86)\GnuWin32\bin\wget.exe" -e robots=off --wait 0.25 -A txt "http://winhelp2002.mvps.org/hosts.txt" -O "K:\Dropbox\DB SHARE\hosts.txt"
Danke.
VG
Peter
Bitte warten ..
Neuester Wissensbeitrag
Ähnliche Inhalte
IDE & Editoren
USB STICK Datei AUTOMATISCH beim anschliessen auf fremden PC öffnen (7)

Frage von Jwanner83 zum Thema IDE & Editoren ...

Microsoft
Sfirm STA Datei automatisch kopieren (1)

Frage von thomasreischer zum Thema Microsoft ...

Batch & Shell
Batch-Variable nach Stichworten aus TXT Datei durchsuchen (3)

Frage von Markus5579 zum Thema Batch & Shell ...

Webentwicklung
gelöst HTML Output in eine txt Datei mit VisualBasicScript (2)

Frage von coca22COCA zum Thema Webentwicklung ...

Heiß diskutierte Inhalte
Windows Userverwaltung
Ausgeschiedene Mitarbeiter im Unternehmen - was tun mit den AD Konten? (33)

Frage von patz223 zum Thema Windows Userverwaltung ...

LAN, WAN, Wireless
FritzBox, zwei Server, verschiedene Netze (21)

Frage von DavidGl zum Thema LAN, WAN, Wireless ...

Viren und Trojaner
Aufgepasst: Neue Ransomware Goldeneye verbreitet sich rasant (20)

Link von Penny.Cilin zum Thema Viren und Trojaner ...