darkprodukt
Goto Top

BATCH Das Downloaden und untersuchen eines Quellcodes einer Website

Mein Projekt:
Ich würde mir gerne eine Btach erstellen (*1), die den Quellcode einer seite Downloadet, untersucht, das Ergebnis speichert, den alten Quellcode Löscht und den nechsten Downloadet...

Wenn alle URL's abgearbeitet wurden, soll er das Ergebnis, was aus lauter WEBADRESSE.jpg besteht Downloaden und nach Reihenfolge Umbenennen.


*1 - Wenn nötig steig ich auch auf andere Sprachen (C++, etc) um. Brauche aber dan mehr Hilfe

Ich hoffe mein Vorwort war verständlich.

Ich habs mir bis jezt so vorgestellt.

Die Batch läd den Quellcode in eine Textdatei.
Im Quellcode soll sie zu Zeile 167 springen und dort einen Link auslesen
und diesen in eine weitere Textdatei Speichern.

Die Zeile 167 sieht immer so aus.

2 Beispiele
1.
    <script id="imgjs" type="text/javascript" src="http://236js.236.com/1234567/abcde/img.js?img=http://1234.abcde.236.com/abcde/118732/1111/22/33/20091215161825187ab5460.jpg"></script>  
2.
    <script id="imgjs" type="text/javascript" src="http://236js.236.com/1234567/abcde/img.js?img=http://1234.abcde.236.com/abcde/118728/2222/33/44/2009121516173435c30d6e3.jpg"></script>  

Und diese Links:
1.
http://1234.abcde.236.com/abcde/118732/1111/22/33/20091215161825187ab5460.jpg
2.
http://1234.abcde.236.com/abcde/118728/2222/33/44/2009121516173435c30d6e3.jpg

Sollen dabei ausgelesen Werden.

Danach sollen die Datein gedownloadet werden und in der Reihenfolge
von oben nach unten nummeriert werden.

also
20091215161825187ab5460.jpg --> 001.jpg
2009121516173435c30d6e3.jpg --> 002.jpg

Das die Reihenfolge intakt bleibt ist dabei sehr Wichtig!
Windows würde nehmlich die beiden Datein mit dem Namen genau falschrum Anzeigen.


Meine Probleme im im momment sind:
-Wie bekomme ich den Quellcode der Website?
-Wie lade ich de Bild aus dem Internet runter?

Das untersuchen des Quellcodes ist noch das einfachste und das Umbenennen das bekomme ich auch selbst hin.

Grüße
Darkprodukt

PS: Ich erwarte kein fertiges Programm, sondern nur Hilfeleistung bei den genanten Problemen. Danke!

Content-Key: 188731

Url: https://administrator.de/contentid/188731

Printed on: April 19, 2024 at 16:04 o'clock

Member: maretz
maretz Jul 27, 2012 at 13:44:15 (UTC)
Goto Top
Den Quellcode und das Bild kannst du z.B. per WGET runterladen... das sollte schon klappen...
Member: Darkprodukt
Darkprodukt Jul 27, 2012 updated at 14:39:06 (UTC)
Goto Top
Ok danke,

Bin auch gerade auf WGET gestoßen als ich nach Lösungen gegoogelt hab.

Grüße
Darkprodukt
Member: Darkprodukt
Darkprodukt Jul 30, 2012 updated at 01:03:39 (UTC)
Goto Top
Meine Lösung:

@echo off & setlocal
title WebCracker Copyright © Darkprodukt 2012
type >%TEMP%\urllist.txt
type >%TEMP%\string167.txt
type >%TEMP%\Links.txt
type >%TEMP%\Names.txt

set /a count=1001

::Benutzerdefinierte Werte
set "Downloadverzeichniss=%USERPROFILE%\Desktop\Downloads\WebCracker\"  
cls

echo #####################################################
echo ###WebCracker R1 V1.0 Copyright © Darkprodukt 2012###
echo #####################################################
echo\
set /p website="Website: "  
echo\
set /p Bilderzahl="Anzahl der Bilder: "  
echo\

>>%TEMP%\urllist.txt (for /l %%i in (1,1,%Bilderzahl%) do echo %website%%%i.html)

for /f "delims=" %%i in ('type "%TEMP%\urllist.txt"') do .WGET\bin\wget -P seitsurce %%i >NUL  

if exist %TEMP%\urllist.txt del %TEMP%\urllist.txt

for /l %%i in (1,1,%Bilderzahl%) do (
										for /f "delims=" %%j in ('findstr /n /v "akjgriarg" seitsurce\%%i.html^|findstr "^167:"') do set "string=%%j" ^  
																																	 &setlocal enabledelayedexpansion ^
																																	 &set "Link=!string:~101,77!" ^  
																																	 &echo !Link!>>!TEMP!\Links.txt ^
																																	 &set "Name=!string:~151,27!" ^  
																																	 &echo !Name!>>!TEMP!\Names.txt ^
																																	 &endlocal
									)
									
for /f %%i in ('type "%TEMP%\Links.txt"') do .WGET\bin\wget -P %USERPROFILE%\Desktop\Downloads\WebCracker\ %%i >NUL  

for /f %%i in ('type "%TEMP%\Names.txt"') do set "i=%%i" ^  
											 &setlocal enabledelayedexpansion ^
											 &ren "!Downloadverzeichniss!\!i!" "!count:~-3!.jpg" ^  
											 &endlocal ^
											 &set /a count=count+1 ^
											 &timeout /T 1 >NUL

If exist %TEMP%\urllist.txt del %TEMP%\urllist.txt
If exist %TEMP%\string167.txt del %TEMP%\string167.txt
If exist %TEMP%\Links.txt del %TEMP%\Links.txt
If exist %TEMP%\Names.txt del %TEMP%\Names.txt
del /F /S /Q seitsurce\*

echo\
echo Auftrag Abgeschlossen!
pause
exit 0

Nicht Optimal aber Ok

Danke an Bastla für die Beiträge in diesen Themen
Batch Datei soll aus Textdatei string auslesen ("genaue Koordinatenangabe")
Dateien per Batch umbenennen, kopieren, mit einer Aktion versehen und durchnummeriert ins LOG schreiben

Grüße
Darkprodukt