Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit
GELÖST

C-Sharp - HTML-Dokument mittels HttpWebRequest herunterladen?

Frage Entwicklung C und C++

Mitglied: mabue88

mabue88 (Level 2) - Jetzt verbinden

12.02.2015, aktualisiert 14:40 Uhr, 1221 Aufrufe, 4 Kommentare

Hallo,

ich versuche das HTML-Dokument einer Webseite mit einem HttpWebRequest herunterzuladen.
Den HttpWebRequest will ich verwenden, da er bereits eine Timeout implementiert hat.

Den HTML-String der Webseite lade ich wie folgt herunter:

01.
String url = "www.meine_url.de"; 
02.
 
03.
// Webrequest & Webresponse erstellen 
04.
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url); 
05.
request.Proxy = null; 
06.
request.Timeout = 10000; 
07.
 
08.
HttpWebResponse response = (HttpWebResponse)request.GetResponse(); 
09.
 
10.
// Stream zum Lesen des HTML-Strings 
11.
Stream stream = response.GetResponseStream(); 
12.
StreamReader streamreader = new StreamReader(stream); 
13.
String html_string = streamreader.ReadToEnd(); 
14.
 
15.
// Webbrowser erstellen und HTML-Dokument auslesen 
16.
WebBrowser browser = new WebBrowser(); 
17.
browser.ScriptErrorsSuppressed = true; 
18.
 
19.
browser.DocumentText = html_string; 
20.
 
21.
while (browser.ReadyState != WebBrowserReadyState.Complete) 
22.
    Application.DoEvents(); 
23.
 
24.
// HTML-Dokument zurückgeben 
25.
return browser.Document;

In der Variable html_string ist das gesamte HTML-Dokument enthalten.
Sobald ich den String aber im Browser als DocumentText einlese, bekomme ich nur noch einen Bruchteil der im Dokument enthaltenen HTML-Elemente (ca. 5 von 600).

Kann sich jemand das Verhalten erklären?

Danke für Eure Hilfe!
Gruss
mabue



Update:
Ich habe noch etwas bemerkt: Das HtmlDocument vom Browser besitzt ein Kind vom Typ HTMLBodyClass. In dessen OuterHtml steht allerdings nur
01.
\r\n<BODY></BODY>
In dem HTML-String befinden sich aber einige Elemente im Body, so dass dieser eigentlich nicht leer sein dürfte!
Mitglied: 114757
12.02.2015, aktualisiert um 14:40 Uhr
Kann sich jemand das Verhalten erklären?
Ja, das kommt gerne vor wenn die Seite z.B. einen iframe oder Frames enthält, dann werden die Elemente in den Frames nicht mit ins DOM aufgenommen.

Gruß jodel32
Bitte warten ..
Mitglied: mabue88
12.02.2015, aktualisiert um 14:58 Uhr
Hallo jodel32,

In dem HTML-String konnte ich keine Frames finden (iframe, frame). Objects konnte ich auch nicht finden...

Update: es scheint als ob der HTML-String gar nicht eingelesen wird. Im HtmlDocument vom Browser ist der Titel nach dem Laden des Html-Strings nämlich auch noch leer. Und der Titel ist definitiv im HTML-String vorhanden...
Daher vermute ich eher ein grundlegendes Problem
Bitte warten ..
Mitglied: mabue88
12.02.2015, aktualisiert um 15:20 Uhr
Hier habe ich gerade die Lösung gefunden:
https://social.msdn.microsoft.com/Forums/vstudio/en-US/e2804d59-978f-47e ...

Bevor die DocumentText-Eigenschaft verwendet werden kann, muss der Browser mindestens eine Navigation durchgeführt haben. "about:blank" reicht da schon aus. Anschließend wieder auf ReadyState = Complete warten und danach den HTML-String in DocumentText laden.
Bitte warten ..
Mitglied: mabue88
12.02.2015 um 15:34 Uhr
Gerade habe ich noch festgestellt, dass alleine mit der Abfrage "ReadyState == Complete" noch nicht wirklich sichergestellt ist, dass der Browser das Dokument vollständig geladen hat.

Deswegen sieht die While-Schleife jetzt so aus:
01.
while (browser.ReadyState != WebBrowserReadyState.Complete && browser.IsBusy) 
02.
    Application.DoEvents(); 
Bitte warten ..
Ähnliche Inhalte
IDE & Editoren
IDE für C-Sharp und C++ auf Windows
gelöst Frage von BugdroidIDE & Editoren8 Kommentare

Hallo, Ich nutze derzeit Visual Studio, aber auf Dauer ist es mir etwas zu Ressourcenfressend und für meine Zwecke ...

C und C++
C Sharp XAML Universal
Frage von DippsC und C++3 Kommentare

Hallo ich versuche gerade mit C#2015 ein Projekt Universal XAML zu erstellen um auf einem Raberry PI 2 mit ...

C und C++
C-sharp SearchPattern (Regex)
Frage von YanmaiC und C++6 Kommentare

Hallo ihr Administratoren, ich verwende ein AUtocpmpletemenu Plugin. Dort habe ich Snippets, die dann sozusagen completed werden. Beim erstellen ...

C und C++
C-sharp Form buggt
gelöst Frage von YanmaiC und C++2 Kommentare

Hallo ihr Administratoren. Ich habe ein kleines Problem. Unszwar möchte ich eine Ordner von C# zu einem PHP Script ...

Neue Wissensbeiträge
Windows 10

Autsch: Microsoft bündelt Windows 10 mit unsicherer Passwort-Manager-App

Tipp von kgborn vor 1 TagWindows 104 Kommentare

Unter Microsofts Windows 10 haben Endbenutzer keine Kontrolle mehr, was Microsoft an Apps auf dem Betriebssystem installiert (die Windows ...

Sicherheits-Tools

Achtung: Sicherheitslücke im FortiClient VPN-Client

Tipp von kgborn vor 1 TagSicherheits-Tools

Ich weiß nicht, wie häufig die NextGeneration Endpoint Protection-Lösung von Fortinet in deutschen Unternehmen eingesetzt wird. An dieser Stelle ...

Internet

USA: Die FCC schaff die Netzneutralität ab

Information von Frank vor 1 TagInternet5 Kommentare

Jetzt beschädigt US-Präsident Donald Trump auch noch das Internet. Der neu eingesetzte FCC-Chef Ajit Pai ist bekannter Gegner einer ...

DSL, VDSL

ALL-BM200VDSL2V - Neues VDSL-Modem mit Vectoring von Allnet

Information von Lochkartenstanzer vor 2 TagenDSL, VDSL2 Kommentare

Moin, Falls jemand eine Alternative zu dem draytek sucht: Gruß lks

Heiß diskutierte Inhalte
Batch & Shell
Kann man mit einer .txt Datei eine .bat Datei öffnen?
Frage von HelloWorldBatch & Shell16 Kommentare

Wie schon im Titel beschrieben würde ich gerne durch einfaches klicken auf eine Text oder Word Datei eine Batch ...

Router & Routing
OpenWRT bzw. L.E.D.E auf Buffalo WZR-HP-AG300H - update
gelöst Frage von EpigeneseRouter & Routing11 Kommentare

Guten Tag, ich habe auf einem Buffalo WZR-HP-AG300H die alternative Firmware vom L.E.D.E Projekt geflasht. Ich bin es von ...

Windows Server
Ping auf einen bestimmten Server nicht möglich
gelöst Frage von a.thierWindows Server7 Kommentare

Hallo, ich habe folgendes Problem. srv-dc1: Ping srv-nav > geht Ping srv-exchange > geht nicht srv-exchange: Ping srv-dc1 > ...

Hardware
Fujitsu Workstation mit K80 und Quadro P5000, Fehlermeldung: Connect Power Adapter
Frage von MachelloHardware7 Kommentare

Hallo Zusammen, ich benötige euren Rat da ich ratlos bin. Folgende Konfiguration im Büro: Fujitsu Workstation Celcius R940 Power ...