Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit
GELÖST

Datei automatisch downloaden (Problem mit robots.txt Restriktion und wget)

Frage Entwicklung Batch & Shell

Mitglied: peterha

peterha (Level 1) - Jetzt verbinden

10.07.2014, aktualisiert 12:23 Uhr, 2077 Aufrufe, 7 Kommentare

Moin zusammen,

ich will eine Datei automatisch herunterladen lassen. Der Job wird per Aufgabenplanung gestartet. Rufe ich meine CMD manuell auf funktioniert der Download.
Über die Aufgabenplanung geht's nicht. Fehler: "Entferne "Hosts.zip.1", da dies zurückgewiesen werden soll.

Hintergrund ist, dass wget sich an dieses weiche Verbot der Robots.txt hält und diese Datei nicht mir zur Verfügung stellen will.

Mein Skript

01.
"C:\Program Files (x86)\GnuWin32\bin\wget.exe" -p -nd -l 1 -e robots=off -A zip "http://winhelp2002.mvps.org/hosts.zip"
Nachdem was ich bei Google fand, soll ich dennoch downloaden können mit -e robots=off
Geht aber nicht. (Meldung wie oben)

Hat jemand eine Idee, wie ich das mit wget lösen kann? Oder anders?

Danke für eure Hilfe.

Peter
Mitglied: MisterExpulso
10.07.2014 um 01:00 Uhr
Hallo Peter,

hast du mal versucht, eine Wartezeit einzubauen (Parameter --wait 1).
Vgl. http://wget.addictivecode.org/FrequentlyAskedQuestions#How_can_I_make_W ...


Gruß,
Marius
Bitte warten ..
Mitglied: peterha
10.07.2014 um 01:08 Uhr
Moin Marius,

soeben auf deinen Rat hin.

Neuer Code
01.
"C:\Program Files (x86)\GnuWin32\bin\wget.exe" -p -nd -l 1 -e robots=off --wait 0.25 -A txt "http://winhelp2002.mvps.org/hosts.txt" 
02.
pause
Fehlermeldung ist genau so geblieben. Habe auch mal statt 0.25 0.77 und 3 eingetragen. Selbes Problem.
Bitte warten ..
Mitglied: SlainteMhath
LÖSUNG 10.07.2014, aktualisiert um 12:23 Uhr
Moin,

bei mir funktioniert das ganze problemlos mit wget und zwar komplett ohne zusätzliche Paramter ("-p -nd -l 1" sind in dem Fall sowieso obsolet)

01.
wget http://winhelp2002.mvps.org/hosts.txt 
02.
--08:56:35--  http://winhelp2002.mvps.org/hosts.txt 
03.
           => `hosts.txt' 
04.
Resolving winhelp2002.mvps.org... done. 
05.
Connecting to winhelp2002.mvps.org[216.155.126.40]:80... connected. 
06.
HTTP request sent, awaiting response... 200 OK 
07.
Length: 509,407 [text/plain] 
08.
 
09.
08:56:38 (204.30 KB/s) - `hosts.txt' saved [509407/509407]
lg,
Slainte
Bitte warten ..
Mitglied: peterha
10.07.2014 um 11:50 Uhr
Moin,

Wenn ich das weglasse schreibt er nicht mehr das mit dem Zurückgewiesen. Er sagt, dass die Hosts.txt.4 gespeichert wurde.

01.
C:\Windows\system32>"C:\Program Files (x86)\GnuWin32\bin\wget.exe" -e robots=off 
02.
 --wait 0.77 -A txt "http://winhelp2002.mvps.org/hosts.txt" 
03.
SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc 
04.
syswgetrc = C:\Program Files (x86)\GnuWin32/etc/wgetrc 
05.
--2014-07-10 11:33:01--  http://winhelp2002.mvps.org/hosts.txt 
06.
Auflösen des Hostnamen »winhelp2002.mvps.org«.... 216.155.126.40 
07.
Verbindungsaufbau zu winhelp2002.mvps.org|216.155.126.40|:80... verbunden. 
08.
HTTP Anforderung gesendet, warte auf Antwort... 200 OK 
09.
Länge: 509407 (497K) [text/plain] 
10.
In »hosts.txt.4« speichern. 
11.
 
12.
100%[======================================>] 509.407      320K/s   in 1,6s 
13.
 
14.
2014-07-10 11:33:03 (320 KB/s) - »hosts.txt.4« gespeichert [509407/509407] 
15.
 
16.
 
17.
C:\Windows\system32>pause 
18.
Drücken Sie eine beliebige Taste . . .

Wo liegt die Datei jetzt? In den Temp Internet Files finde ich sie nicht. In der Windows-Suche und im Hauptverzeichnis von wget auch nicht.

Danke für den Tipp.
Bitte warten ..
Mitglied: SlainteMhath
LÖSUNG 10.07.2014, aktualisiert um 12:23 Uhr
Wo liegt die Datei jetzt?
Unter C:\Windows\system32 und liegen da hosts.txt, hosts.txt.1, hosts.txt.2, hosts.txt.3 und hosts.txt.4
Bitte warten ..
Mitglied: Gersen
LÖSUNG 10.07.2014, aktualisiert um 12:23 Uhr
Hallo,

zwei nützliche Optionen für WGET:

-N (lädt die Datei nur herunter, wenn sie neuer ist und überschreibt die ursprüngliche Datei - d.h., es entstehen keine hosts.txt.1, 2, 3 etc.)

-O Pfad\zur\Datei (lädt die Datei herunter und speichert sie -unter dem neuen Namen- im angegebenen Ordner).

Gruß,
Gersen
Bitte warten ..
Mitglied: peterha
10.07.2014 um 12:25 Uhr
Cool! Danke allen. Jetzt läuft es.

Fertiger Code

01.
"C:\Program Files (x86)\GnuWin32\bin\wget.exe" -e robots=off --wait 0.25 -A txt "http://winhelp2002.mvps.org/hosts.txt" -O "K:\Dropbox\DB SHARE\hosts.txt"
Danke.
VG
Peter
Bitte warten ..
Ähnliche Inhalte
Batch & Shell
Wget unter Windows, Speichern auf NAS (5)

Frage von Stoffn zum Thema Batch & Shell ...

E-Mail
Postfix sinnvolle Restriktionen (2)

Frage von Henere zum Thema E-Mail ...

Netzwerkmanagement
Dateien für einmaligen Download auf einen FTP Server ermöglichen (6)

Frage von staybb zum Thema Netzwerkmanagement ...

Windows Server
gelöst WSUS Update Download-Problem (7)

Frage von WinWord zum Thema Windows Server ...

Neue Wissensbeiträge
Windows Tools

Zeit für Energiesparmodus, Bildschirmabschaltung etc. schnell anpassen

Anleitung von hannsgmaulwurf zum Thema Windows Tools ...

Linux Netzwerk

Ping und das einstellbare Bytepattern

(1)

Erfahrungsbericht von LordGurke zum Thema Linux Netzwerk ...

Windows Update

Microsoft Update KB4034664 verursacht Probleme mit Multimonitor-Systemen

(4)

Tipp von beidermachtvongreyscull zum Thema Windows Update ...

Heiß diskutierte Inhalte
Firewall
Richtige Grundeinstellungen der Pfsense für mein Netzwerk (12)

Frage von Spitzbube zum Thema Firewall ...

Switche und Hubs
gelöst Cisco 2960x Stacking über mehrere Etagen (12)

Frage von b3scher zum Thema Switche und Hubs ...