68702
Sep 28, 2009, updated at 13:41:02 (UTC)
4907
7
0
Webcrawler dursucht Seite nicht
Moin,
ich habe das Problem, dass Webcrawler zwar die robots.txt und den HEAD durchsucht, aber dann durchsucht der Webcrawler die Seite nicht.
Das ist der Inhalt der robots.txt:
User-agent: *
Disallow:
Normalerweise sollte die ganze Seite durchsucht werden können, oder ?
Google gibt nur Tipps wie ich Webcrawler verbiete.
ich habe das Problem, dass Webcrawler zwar die robots.txt und den HEAD durchsucht, aber dann durchsucht der Webcrawler die Seite nicht.
Das ist der Inhalt der robots.txt:
User-agent: *
Disallow:
Normalerweise sollte die ganze Seite durchsucht werden können, oder ?
Google gibt nur Tipps wie ich Webcrawler verbiete.
Please also mark the comments that contributed to the solution of the article
Content-Key: 125962
Url: https://administrator.de/contentid/125962
Printed on: April 18, 2024 at 09:04 o'clock
7 Comments
Latest comment
Moin moin
Das dürfte erklären warum nur auf das verbieten eingegangen wird ;)
Also eigentlich sollte es funktionieren denke ich.
Sag mal, in welchem Zeitraum hast du das beobachtet ?
Ich habe bei mir nämlich festgestellt, das die Bots nur einen kleinen Teil (ein paar Links weit) die Seite indiziere und später weiter machen (weiss jetzt nicht ob Stunden oder Tage).
~Arano
Ein Schlüsselwort Allow: wurde niemals definiert
Quelle: http://de.selfhtml.org/diverses/robots.htmDas dürfte erklären warum nur auf das verbieten eingegangen wird ;)
Also eigentlich sollte es funktionieren denke ich.
Sag mal, in welchem Zeitraum hast du das beobachtet ?
Ich habe bei mir nämlich festgestellt, das die Bots nur einen kleinen Teil (ein paar Links weit) die Seite indiziere und später weiter machen (weiss jetzt nicht ob Stunden oder Tage).
~Arano