Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Sites abfragen, Code erhalten

Mitglied: rsadmchef

rsadmchef (Level 1) - Jetzt verbinden

13.01.2014 um 19:26 Uhr, 1311 Aufrufe, 10 Kommentare

Hallo TEAM

ich hoffe ihr könnt ein wenig weiterhelfen...
Benutze verschiedene Browser, hauptsächlich FF und Opera

Meine Site enthlät 25 Links mit Verweisen zu weiteren Sites

http://www.blah-blupp.de/site1.php?refcode=21
http://www.blah-blupp.de/site1.php?refcode=22
http://www.blah-blupp.de/site1.php?refcode=23
....


in den nun geklickten 25 Sites ist je ein weiterer Link zum Klicken

http://www.blah-blupp.de/mega/site1.php?refcode=212121
http://www.blah-blupp.de/mega/site1.php?refcode=222222
http://www.blah-blupp.de/mega/site1.php?refcode=232323
...

also in allen Seiten ähnlich.

Diese Links möchte ich alle zusammenführen als Text in einer Datei.

Nun meine Frage.
Kann der FF oder Opera in die Lage versetzt werden, diese in den wohlgemerkt -nicht- geklickten Sites aufgeführten Links
zu "sourcen" und per Script in eine Datei dumpen ?, möglicherweise mit einem ADDON oder einem Userscript

Danke für Eure Hilfe.

Gruß rsadmchef



Mitglied: certifiedit.net
13.01.2014 um 19:37 Uhr
Nein Opera und FF können das (meines Wissens nach nicht | Bei zig Add Ons - wer weiss) - aber: Httrack kann das ganze relativ easy ableisten.
Bitte warten ..
Mitglied: colinardo
13.01.2014 um 20:00 Uhr
Hallo rsadmchef,
z.B. mit einem Powershell-Script kein Problem, kann ich dir morgen mal hier abladen

Grüße Uwe
Bitte warten ..
Mitglied: rsadmchef
14.01.2014 um 05:50 Uhr
hallo certifiedit

WebHTTrack Website Copier
webhttrack

hab ich installiert.

Das tool leistet das so nicht ab.
local copy nur vom viewable file des browsers.

Derzeit nicht brauchbar.

gruß
rsadmchef
Bitte warten ..
Mitglied: rsadmchef
14.01.2014 um 05:56 Uhr
hallo colinardo,

ja bitte.
ich versuchs dann in bash-scripting zu übersetzen,
weil mein bs auf meinem rentner-lappi ein lubuntu 10.04 ist.

vlt. kann man mit JAVA was machen weils universeller ist.
Eine JAVA-jre hab ich drauf

Gruß rsadmchef
Bitte warten ..
Mitglied: Snowman25
14.01.2014 um 09:27 Uhr
Hallo rsadmchef,

schonmal was von webspiders bzw. scrapern gehört?
Die können genau das, was du brauchst!
Da gäbe es zum beispiel scrapy.

Gruß,
Snowman25
Bitte warten ..
Mitglied: certifiedit.net
14.01.2014 um 09:30 Uhr
Hallo rsadm,

dann musst du ggf. die Einstellungen bearbeiten / How To lesen.

Die PHP Dateien wirst du so aber von keiner Seite bekommen.

LG
Bitte warten ..
Mitglied: colinardo
14.01.2014 um 09:53 Uhr
Zitat von rsadmchef:
ja bitte.
ich versuchs dann in bash-scripting zu übersetzen,
weil mein bs auf meinem rentner-lappi ein lubuntu 10.04 ist.
bin noch unterwegs, bis dahin kannst du dir diesen Beitrag mal anschauen, da habe ich etwas ähnliches bereits präsentiert:
https://www.administrator.de/contentid/222295

Grüße Uwe
Bitte warten ..
Mitglied: colinardo
14.01.2014, aktualisiert um 11:10 Uhr
also wenn die ersten 25 Links alle auf einer Seite sind könntest du folgendes Shell-Script als Muster hernehmen um aus den Seiten dieser Links die anderen Links zu extrahieren:
01.
#!/bin/bash 
02.
_STARTSEITE='http://www.blah-blupp.de/site1.php' 
03.
_LINKS=$(curl -s $_STARTSEITE | grep -Eo 'http://www\.blah-blupp\.de/site1\.php?refcode=[0-9]+') 
04.
_ALLLINKS="$_LINKS\n" 
05.
for link in "$_LINKS";do 
06.
  _CONTENT=$(curl -s $link) 
07.
  _SUBLINKS=$(echo "$_CONTENT" | grep -Eo 'http://www\.blah-blupp\.de/mega/site1\.php?refcode=[0-9]+')   
08.
  _ALLLINKS+="$_SUBLINKS\n" 
09.
done 
10.
echo -e "$_ALLLINKS" >extracted_links.txt
Da ist jetzt für eine Ebene, oder willst du die Links auf der Unterseite ebenfalls weiterverfolgen ? also rekursiv alle Links ?
Dies könntest du auch mit wget machen. Erst alle Links der Site extrahieren und diese dann an grep pipen und die gewünschten Links extrahieren.

Grüße Uwe
Bitte warten ..
Mitglied: rsadmchef
17.01.2014 um 05:28 Uhr
Hallo colinardo,

hab ich halbwegs verstanden.
curl lädt einen Link vom Server, der sich wie eine Abmeldung darstellt: "Sie werden in 5 sekunden auf die Startseite umgeleitet". und es gibt keine Links.

Manuell stellt es sich so dar:
Der Browser zeigt die Startseite. Es öffnen sich Tabs beim Betätigen der Links.
Da habe ich also 25 Tabs.
Dazu müsste ich aber alle Tabs durchschalten, um den Code zu grep_en...
Trotzem super.
aber keine Lösung.


Gruß rsadmchef.
Bitte warten ..
Mitglied: colinardo
17.01.2014 um 08:40 Uhr
tja, wenn wir nicht wissen wie die Seite genau aufgebaut ist, können wir hier wenig ausrichten !!
Poste doch mal einen Link zu der Seite wenn's geht...
Bitte warten ..
Ähnliche Inhalte
Batch & Shell

Findstr - code für schwieriger Abfrage gesucht

gelöst Frage von reissaus73Batch & Shell9 Kommentare

Wer kann mir helfen, ich möchte beigefügter Log Datei folgende Informationen per cmd auslesen. Da bei uns Installationen automatisiert ...

Datenbanken

MySQL - Abfrage um letzte Einträge unterschiedlicher Objekte zu erhalten?

gelöst Frage von mabue88Datenbanken2 Kommentare

Hallo, ich sitze vor einer SQL-Abfrage, die ich einfach nicht hinbekomme. Folgende Tabelle liegt vor: Nun benötige ich eine ...

Router & Routing

PFSense OpenVPN Site to Site

gelöst Frage von m.reegerRouter & Routing7 Kommentare

Hallo zusammen, ich habe hier gerade ein Site to Site VPN zwischen 2 virtuellen PFSense eingerichtet. Die Folgende Anleitung ...

LAN, WAN, Wireless

Site to Site VPN FritzBox

gelöst Frage von marni1996LAN, WAN, Wireless7 Kommentare

Hallo Zusammen, Ich versuche vergeblich eine VPN Verbindung zwischen Office <> RZ herzustellen. Leider klappt es nicht im RZ ...

Neue Wissensbeiträge
Windows 10
Zero-Day-Lücke in Microsoft Edge
Information von kgborn vor 1 TagWindows 10

In Microsofts Edge-Browser klafft wohl eine nicht geschlossene (0-Day) Sicherheitslücke im Just In Time Compiler (JIT Compiler) für Javascript. ...

Sicherheit
Microsoft und Skype: Sicherheit
Information von kgborn vor 1 TagSicherheit

Die Tage gab es ja einige Berichte zur Sicherheit des Skype-Updaters. Der Updater von Skype läuft unter dem Konto ...

Datenschutz

Behörden ignorieren Sicherheitsbedenken gegenüber Windows 10

Information von Penny.Cilin vor 2 TagenDatenschutz8 Kommentare

Hallo, passend zum Thema Ablösung LIMUX in München ein Beitrag bei Heise (siehe Link folgend). Behörden ignorieren Sicherheitsbedenken gegenüber ...

Sicherheit
Information Security Hub Munich airport
Information von brammer vor 2 TagenSicherheit

Hallo, Neues Center für Cyber Kriminalität am Münchener Flughafen brammer

Heiß diskutierte Inhalte
DSL, VDSL
Mindestgeschwindigkeiten DSL Telekom
Frage von justlukasDSL, VDSL13 Kommentare

Hallo zusammen, Seit diesem Jahr habe ich Verständnisprobleme mit dem Verhalten der Telekom. Wir haben seit einem Jahr VDSL ...

Switche und Hubs
LANCOM-Switch: Probleme (no link) mit SFP-Modulen?
Frage von THETOBSwitche und Hubs10 Kommentare

Hi zusammen, ich habe folgendes Problem: Und zwar habe ich an einem Standort drei Switche verbaut - LANCOM GS-2326P+, ...

Firewall
RB2011 Firewall Rule eine bestimmte Mac oder IP Adresse nicht zu blockieren
Frage von lightmanFirewall10 Kommentare

Hallo liebes Forum mit ihren Spezialisten. Ich habe meine Firewall so konfiguriert das kein Endgerät ohne meine Speziellen Erlaubnis ...

Humor (lol)
Was könnte man mit einem Server machen? Idee gesucht
Frage von 2SeitenHumor (lol)8 Kommentare

Hey Zusammen Ich habe einen alten HP G2 Rackserver zu Hause rumliegen. 28GB Ram, 1xAMD Prozi mit etwa 2GHz. ...