68702
Sep 28, 2009, updated at 13:41:02 (UTC)
4907
7
0
Webcrawler dursucht Seite nicht
Moin,
ich habe das Problem, dass Webcrawler zwar die robots.txt und den HEAD durchsucht, aber dann durchsucht der Webcrawler die Seite nicht.
Das ist der Inhalt der robots.txt:
User-agent: *
Disallow:
Normalerweise sollte die ganze Seite durchsucht werden können, oder ?
Google gibt nur Tipps wie ich Webcrawler verbiete.
ich habe das Problem, dass Webcrawler zwar die robots.txt und den HEAD durchsucht, aber dann durchsucht der Webcrawler die Seite nicht.
Das ist der Inhalt der robots.txt:
User-agent: *
Disallow:
Normalerweise sollte die ganze Seite durchsucht werden können, oder ?
Google gibt nur Tipps wie ich Webcrawler verbiete.
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 125962
Url: https://administrator.de/contentid/125962
Printed on: April 18, 2024 at 09:04 o'clock
7 Comments
Latest comment
Mit Webcrawler meinst du Bots die im namen von Google und Co. das WWW durchsuchen oder verstehe ich da was falsch?
Richtig, Bots, die die Seite durchsuchen, das Ergebnis an google und co übergeben und später bei eingabe des richtigen Suchbegriffs bei einer Suchmaschine ein Ergebnis liefern.
und du willst SEO Optimierung betreiben oder wie soll ich das verstehen wegen der robots.txt
Moin moin
Das dürfte erklären warum nur auf das verbieten eingegangen wird ;)
Also eigentlich sollte es funktionieren denke ich.
Sag mal, in welchem Zeitraum hast du das beobachtet ?
Ich habe bei mir nämlich festgestellt, das die Bots nur einen kleinen Teil (ein paar Links weit) die Seite indiziere und später weiter machen (weiss jetzt nicht ob Stunden oder Tage).
~Arano
Ein Schlüsselwort Allow: wurde niemals definiert
Quelle: http://de.selfhtml.org/diverses/robots.htmDas dürfte erklären warum nur auf das verbieten eingegangen wird ;)
Also eigentlich sollte es funktionieren denke ich.
Sag mal, in welchem Zeitraum hast du das beobachtet ?
Ich habe bei mir nämlich festgestellt, das die Bots nur einen kleinen Teil (ein paar Links weit) die Seite indiziere und später weiter machen (weiss jetzt nicht ob Stunden oder Tage).
~Arano
stimmt ^^
das heißt nichts anderes wie niemand das irgendwas - insofern nicht das was du willst
das heißt nichts anderes wie niemand das irgendwas - insofern nicht das was du willst
Die Seite läuft seit ca. 3 Monaten, kann schon sein dass der Crawler später noch vorbeischaut und die Seite dann durchsucht.
Aber machen das alle Crawler so ?
Aber machen das alle Crawler so ?
das dauert schon
indexiert wirds in 2-3 tagen spätestens bis der dann wieder kommt kann schon einiges an zeit vergehen
indexiert wirds in 2-3 tagen spätestens bis der dann wieder kommt kann schon einiges an zeit vergehen
