Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit
GELÖST

Datei automatisch downloaden (Problem mit robots.txt Restriktion und wget)

Frage Entwicklung Batch & Shell

Mitglied: peterha

peterha (Level 1) - Jetzt verbinden

10.07.2014, aktualisiert 12:23 Uhr, 2141 Aufrufe, 7 Kommentare

Moin zusammen,

ich will eine Datei automatisch herunterladen lassen. Der Job wird per Aufgabenplanung gestartet. Rufe ich meine CMD manuell auf funktioniert der Download.
Über die Aufgabenplanung geht's nicht. Fehler: "Entferne "Hosts.zip.1", da dies zurückgewiesen werden soll.

Hintergrund ist, dass wget sich an dieses weiche Verbot der Robots.txt hält und diese Datei nicht mir zur Verfügung stellen will.

Mein Skript

01.
"C:\Program Files (x86)\GnuWin32\bin\wget.exe" -p -nd -l 1 -e robots=off -A zip "http://winhelp2002.mvps.org/hosts.zip"
Nachdem was ich bei Google fand, soll ich dennoch downloaden können mit -e robots=off
Geht aber nicht. (Meldung wie oben)

Hat jemand eine Idee, wie ich das mit wget lösen kann? Oder anders?

Danke für eure Hilfe.

Peter
Mitglied: MisterExpulso
10.07.2014 um 01:00 Uhr
Hallo Peter,

hast du mal versucht, eine Wartezeit einzubauen (Parameter --wait 1).
Vgl. http://wget.addictivecode.org/FrequentlyAskedQuestions#How_can_I_make_W ...


Gruß,
Marius
Bitte warten ..
Mitglied: peterha
10.07.2014 um 01:08 Uhr
Moin Marius,

soeben auf deinen Rat hin.

Neuer Code
01.
"C:\Program Files (x86)\GnuWin32\bin\wget.exe" -p -nd -l 1 -e robots=off --wait 0.25 -A txt "http://winhelp2002.mvps.org/hosts.txt" 
02.
pause
Fehlermeldung ist genau so geblieben. Habe auch mal statt 0.25 0.77 und 3 eingetragen. Selbes Problem.
Bitte warten ..
Mitglied: SlainteMhath
LÖSUNG 10.07.2014, aktualisiert um 12:23 Uhr
Moin,

bei mir funktioniert das ganze problemlos mit wget und zwar komplett ohne zusätzliche Paramter ("-p -nd -l 1" sind in dem Fall sowieso obsolet)

01.
wget http://winhelp2002.mvps.org/hosts.txt 
02.
--08:56:35--  http://winhelp2002.mvps.org/hosts.txt 
03.
           => `hosts.txt' 
04.
Resolving winhelp2002.mvps.org... done. 
05.
Connecting to winhelp2002.mvps.org[216.155.126.40]:80... connected. 
06.
HTTP request sent, awaiting response... 200 OK 
07.
Length: 509,407 [text/plain] 
08.
 
09.
08:56:38 (204.30 KB/s) - `hosts.txt' saved [509407/509407]
lg,
Slainte
Bitte warten ..
Mitglied: peterha
10.07.2014 um 11:50 Uhr
Moin,

Wenn ich das weglasse schreibt er nicht mehr das mit dem Zurückgewiesen. Er sagt, dass die Hosts.txt.4 gespeichert wurde.

01.
C:\Windows\system32>"C:\Program Files (x86)\GnuWin32\bin\wget.exe" -e robots=off 
02.
 --wait 0.77 -A txt "http://winhelp2002.mvps.org/hosts.txt" 
03.
SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc 
04.
syswgetrc = C:\Program Files (x86)\GnuWin32/etc/wgetrc 
05.
--2014-07-10 11:33:01--  http://winhelp2002.mvps.org/hosts.txt 
06.
Auflösen des Hostnamen »winhelp2002.mvps.org«.... 216.155.126.40 
07.
Verbindungsaufbau zu winhelp2002.mvps.org|216.155.126.40|:80... verbunden. 
08.
HTTP Anforderung gesendet, warte auf Antwort... 200 OK 
09.
Länge: 509407 (497K) [text/plain] 
10.
In »hosts.txt.4« speichern. 
11.
 
12.
100%[======================================>] 509.407      320K/s   in 1,6s 
13.
 
14.
2014-07-10 11:33:03 (320 KB/s) - »hosts.txt.4« gespeichert [509407/509407] 
15.
 
16.
 
17.
C:\Windows\system32>pause 
18.
Drücken Sie eine beliebige Taste . . .

Wo liegt die Datei jetzt? In den Temp Internet Files finde ich sie nicht. In der Windows-Suche und im Hauptverzeichnis von wget auch nicht.

Danke für den Tipp.
Bitte warten ..
Mitglied: SlainteMhath
LÖSUNG 10.07.2014, aktualisiert um 12:23 Uhr
Wo liegt die Datei jetzt?
Unter C:\Windows\system32 und liegen da hosts.txt, hosts.txt.1, hosts.txt.2, hosts.txt.3 und hosts.txt.4
Bitte warten ..
Mitglied: Gersen
LÖSUNG 10.07.2014, aktualisiert um 12:23 Uhr
Hallo,

zwei nützliche Optionen für WGET:

-N (lädt die Datei nur herunter, wenn sie neuer ist und überschreibt die ursprüngliche Datei - d.h., es entstehen keine hosts.txt.1, 2, 3 etc.)

-O Pfad\zur\Datei (lädt die Datei herunter und speichert sie -unter dem neuen Namen- im angegebenen Ordner).

Gruß,
Gersen
Bitte warten ..
Mitglied: peterha
10.07.2014 um 12:25 Uhr
Cool! Danke allen. Jetzt läuft es.

Fertiger Code

01.
"C:\Program Files (x86)\GnuWin32\bin\wget.exe" -e robots=off --wait 0.25 -A txt "http://winhelp2002.mvps.org/hosts.txt" -O "K:\Dropbox\DB SHARE\hosts.txt"
Danke.
VG
Peter
Bitte warten ..
Ähnliche Inhalte
Linux Tools
Komplette Homepage Download mit wget
gelöst Frage von linguinLinux Tools9 Kommentare

Hallo, der Titel verrät ja schon das meiste. Ich möchte / soll von Daten von einer Internet Seite holen ...

Windows Tools
WGET - Downloaden von Dateien bei denen sich der Downloadlink ändert.
gelöst Frage von peterhaWindows Tools6 Kommentare

Moin Leute, auf einer URL liegt eine Datei "K83KFas.bin" deren Name sich täglich ändert. Heute ist der Link also ...

Server
Download von Dateien
gelöst Frage von schicksalServer7 Kommentare

Hallo zusammen, ich habe derzeit bei uns noch einen Altbestand einen FTP Server. Von diesem laden (anonymous) Kunden von ...

Apache Server
Probleme mit wget
gelöst Frage von Thomas91Apache Server20 Kommentare

Hey Administrator-Community, ich habe ein Problem mit meinem WPAD-Sever. Dieser hat bis gestern mit einem Crontab unser Proxy.pac vom ...

Neue Wissensbeiträge
Erkennung und -Abwehr

Sicherheitslücke Spectre und Meltdown: Status prüfen

Anleitung von Frank vor 3 StundenErkennung und -Abwehr

Nach all den Updates der letzten Woche sollte man unbedingt auch den Status prüfen, ob die Sicherheitslücke Spectre und ...

Microsoft Office

Office 2010 Starter erneut auf einer frischen Windows-Version installieren

Tipp von Lochkartenstanzer vor 1 TagMicrosoft Office9 Kommentare

Moin, vor ein paar Tagen schlug bei mir ein Kunde auf, der sein Widnows 7 geschrottet und es inklusive ...

Datenbanken

Upgrade MongoDB 3.4 auf 3.6

Erfahrungsbericht von Frank vor 1 TagDatenbanken

Seit kurzem gibt es das 3.6 Update für die MongoDB: Sicherheit, das Sortieren, Aggregation und auch die Performance wurde ...

SAN, NAS, DAS

Backdoor Zugang und Upload-Bug in vielen Western Digital MyCloud Geräten

Information von Frank vor 1 TagSAN, NAS, DAS2 Kommentare

James Bercegay von der Firma Gulftech hat die Fehler an Western Digital gemeldet und das Unternehmen stellt bereits ein ...

Heiß diskutierte Inhalte
Netzwerke
NTFS-Berechtigung
Frage von Daoudi1973Netzwerke23 Kommentare

Hallo zusammen und frohes neues Jahr (Sorry, ich bin spät dran) Meine Frage: 1- Ich habe einen Ordner im ...

Drucker und Scanner
Gesucht DIN A3 Drucker
Frage von NebellichtDrucker und Scanner15 Kommentare

Hallo, ich möchte einen neuen DIN A3 Drucker kaufen. Um ab und zu, ca. 1 mal die Woche Farbausdrucke ...

iOS
Einladung vom iphone kalender
Frage von jensgebkeniOS15 Kommentare

Hallo Gemeinschaft, folgendes Problem - immer wenn ich von meinem Iphone einen Termin einztrage und diesem Termin Teilnehmer zuweise, ...

Windows Netzwerk
Drucker isolieren in Windows Domäne
gelöst Frage von lcer00Windows Netzwerk14 Kommentare

Hallo zusammen, habe eine Windows-AD (2012R2) in der es einen Druckerserver gibt. Mittlerweile verliere ich das Vertrauen in die ...