Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit
GELÖST

Datei automatisch downloaden (Problem mit robots.txt Restriktion und wget)

Frage Entwicklung Batch & Shell

Mitglied: peterha

peterha (Level 1) - Jetzt verbinden

10.07.2014, aktualisiert 12:23 Uhr, 2008 Aufrufe, 7 Kommentare

Moin zusammen,

ich will eine Datei automatisch herunterladen lassen. Der Job wird per Aufgabenplanung gestartet. Rufe ich meine CMD manuell auf funktioniert der Download.
Über die Aufgabenplanung geht's nicht. Fehler: "Entferne "Hosts.zip.1", da dies zurückgewiesen werden soll.

Hintergrund ist, dass wget sich an dieses weiche Verbot der Robots.txt hält und diese Datei nicht mir zur Verfügung stellen will.

Mein Skript

01.
"C:\Program Files (x86)\GnuWin32\bin\wget.exe" -p -nd -l 1 -e robots=off -A zip "http://winhelp2002.mvps.org/hosts.zip"
Nachdem was ich bei Google fand, soll ich dennoch downloaden können mit -e robots=off
Geht aber nicht. (Meldung wie oben)

Hat jemand eine Idee, wie ich das mit wget lösen kann? Oder anders?

Danke für eure Hilfe.

Peter
Mitglied: MisterExpulso
10.07.2014 um 01:00 Uhr
Hallo Peter,

hast du mal versucht, eine Wartezeit einzubauen (Parameter --wait 1).
Vgl. http://wget.addictivecode.org/FrequentlyAskedQuestions#How_can_I_make_W ...


Gruß,
Marius
Bitte warten ..
Mitglied: peterha
10.07.2014 um 01:08 Uhr
Moin Marius,

soeben auf deinen Rat hin.

Neuer Code
01.
"C:\Program Files (x86)\GnuWin32\bin\wget.exe" -p -nd -l 1 -e robots=off --wait 0.25 -A txt "http://winhelp2002.mvps.org/hosts.txt" 
02.
pause
Fehlermeldung ist genau so geblieben. Habe auch mal statt 0.25 0.77 und 3 eingetragen. Selbes Problem.
Bitte warten ..
Mitglied: SlainteMhath
LÖSUNG 10.07.2014, aktualisiert um 12:23 Uhr
Moin,

bei mir funktioniert das ganze problemlos mit wget und zwar komplett ohne zusätzliche Paramter ("-p -nd -l 1" sind in dem Fall sowieso obsolet)

01.
wget http://winhelp2002.mvps.org/hosts.txt 
02.
--08:56:35--  http://winhelp2002.mvps.org/hosts.txt 
03.
           => `hosts.txt' 
04.
Resolving winhelp2002.mvps.org... done. 
05.
Connecting to winhelp2002.mvps.org[216.155.126.40]:80... connected. 
06.
HTTP request sent, awaiting response... 200 OK 
07.
Length: 509,407 [text/plain] 
08.
 
09.
08:56:38 (204.30 KB/s) - `hosts.txt' saved [509407/509407]
lg,
Slainte
Bitte warten ..
Mitglied: peterha
10.07.2014 um 11:50 Uhr
Moin,

Wenn ich das weglasse schreibt er nicht mehr das mit dem Zurückgewiesen. Er sagt, dass die Hosts.txt.4 gespeichert wurde.

01.
C:\Windows\system32>"C:\Program Files (x86)\GnuWin32\bin\wget.exe" -e robots=off 
02.
 --wait 0.77 -A txt "http://winhelp2002.mvps.org/hosts.txt" 
03.
SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc 
04.
syswgetrc = C:\Program Files (x86)\GnuWin32/etc/wgetrc 
05.
--2014-07-10 11:33:01--  http://winhelp2002.mvps.org/hosts.txt 
06.
Auflösen des Hostnamen »winhelp2002.mvps.org«.... 216.155.126.40 
07.
Verbindungsaufbau zu winhelp2002.mvps.org|216.155.126.40|:80... verbunden. 
08.
HTTP Anforderung gesendet, warte auf Antwort... 200 OK 
09.
Länge: 509407 (497K) [text/plain] 
10.
In »hosts.txt.4« speichern. 
11.
 
12.
100%[======================================>] 509.407      320K/s   in 1,6s 
13.
 
14.
2014-07-10 11:33:03 (320 KB/s) - »hosts.txt.4« gespeichert [509407/509407] 
15.
 
16.
 
17.
C:\Windows\system32>pause 
18.
Drücken Sie eine beliebige Taste . . .

Wo liegt die Datei jetzt? In den Temp Internet Files finde ich sie nicht. In der Windows-Suche und im Hauptverzeichnis von wget auch nicht.

Danke für den Tipp.
Bitte warten ..
Mitglied: SlainteMhath
LÖSUNG 10.07.2014, aktualisiert um 12:23 Uhr
Wo liegt die Datei jetzt?
Unter C:\Windows\system32 und liegen da hosts.txt, hosts.txt.1, hosts.txt.2, hosts.txt.3 und hosts.txt.4
Bitte warten ..
Mitglied: Gersen
LÖSUNG 10.07.2014, aktualisiert um 12:23 Uhr
Hallo,

zwei nützliche Optionen für WGET:

-N (lädt die Datei nur herunter, wenn sie neuer ist und überschreibt die ursprüngliche Datei - d.h., es entstehen keine hosts.txt.1, 2, 3 etc.)

-O Pfad\zur\Datei (lädt die Datei herunter und speichert sie -unter dem neuen Namen- im angegebenen Ordner).

Gruß,
Gersen
Bitte warten ..
Mitglied: peterha
10.07.2014 um 12:25 Uhr
Cool! Danke allen. Jetzt läuft es.

Fertiger Code

01.
"C:\Program Files (x86)\GnuWin32\bin\wget.exe" -e robots=off --wait 0.25 -A txt "http://winhelp2002.mvps.org/hosts.txt" -O "K:\Dropbox\DB SHARE\hosts.txt"
Danke.
VG
Peter
Bitte warten ..
Ähnliche Inhalte
IDE & Editoren
USB STICK Datei AUTOMATISCH beim anschliessen auf fremden PC öffnen (9)

Frage von Jwanner83 zum Thema IDE & Editoren ...

Microsoft
Sfirm STA Datei automatisch kopieren (1)

Frage von thomasreischer zum Thema Microsoft ...

Batch & Shell
gelöst Bestimmte Daten aus CSV per Windows BATCH Datei in .txt Format schreiben lassen. (9)

Frage von freshman2017 zum Thema Batch & Shell ...

Neue Wissensbeiträge
Sicherheits-Tools

Sicherheitstest von Passwörtern für ganze DB-Tabellen

(1)

Tipp von gdconsult zum Thema Sicherheits-Tools ...

Peripheriegeräte

Was beachten bei der Wahl einer USV Anlage im Serverschrank

(8)

Tipp von zetboxit zum Thema Peripheriegeräte ...

Windows 10

Das Windows 10 Creators Update ist auf dem Weg

(6)

Anleitung von BassFishFox zum Thema Windows 10 ...

Heiß diskutierte Inhalte