Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit
GELÖST

Webcrawler dursucht Seite nicht

Frage Internet

Mitglied: 68702

68702 (Level 2)

28.09.2009, aktualisiert 15:41 Uhr, 4254 Aufrufe, 7 Kommentare

Moin,
ich habe das Problem, dass Webcrawler zwar die robots.txt und den HEAD durchsucht, aber dann durchsucht der Webcrawler die Seite nicht.
Das ist der Inhalt der robots.txt:

User-agent: *
Disallow:

Normalerweise sollte die ganze Seite durchsucht werden können, oder ?
Google gibt nur Tipps wie ich Webcrawler verbiete.
Mitglied: mc-doubleyou
28.09.2009 um 15:41 Uhr
Mit Webcrawler meinst du Bots die im namen von Google und Co. das WWW durchsuchen oder verstehe ich da was falsch?
Bitte warten ..
Mitglied: 68702
28.09.2009 um 15:49 Uhr
Richtig, Bots, die die Seite durchsuchen, das Ergebnis an google und co übergeben und später bei eingabe des richtigen Suchbegriffs bei einer Suchmaschine ein Ergebnis liefern.
Bitte warten ..
Mitglied: mc-doubleyou
28.09.2009 um 16:03 Uhr
und du willst SEO Optimierung betreiben oder wie soll ich das verstehen wegen der robots.txt
Bitte warten ..
Mitglied: Arano
28.09.2009 um 16:38 Uhr
Moin moin

Ein Schlüsselwort Allow: wurde niemals definiert
Quelle: http://de.selfhtml.org/diverses/robots.htm
Das dürfte erklären warum nur auf das verbieten eingegangen wird ;)

Also eigentlich sollte es funktionieren denke ich.
Sag mal, in welchem Zeitraum hast du das beobachtet ?
Ich habe bei mir nämlich festgestellt, das die Bots nur einen kleinen Teil (ein paar Links weit) die Seite indiziere und später weiter machen (weiss jetzt nicht ob Stunden oder Tage).


~Arano
Bitte warten ..
Mitglied: mc-doubleyou
28.09.2009 um 16:45 Uhr
stimmt ^^

das heißt nichts anderes wie niemand das irgendwas - insofern nicht das was du willst
Bitte warten ..
Mitglied: 68702
29.09.2009 um 13:25 Uhr
Die Seite läuft seit ca. 3 Monaten, kann schon sein dass der Crawler später noch vorbeischaut und die Seite dann durchsucht.
Aber machen das alle Crawler so ?
Bitte warten ..
Mitglied: mc-doubleyou
29.09.2009 um 13:36 Uhr
das dauert schon

indexiert wirds in 2-3 tagen spätestens bis der dann wieder kommt kann schon einiges an zeit vergehen
Bitte warten ..
Ähnliche Inhalte
Internet
gelöst Mitarbeiter surft auf unerwünschter Seite - Wie damit umgehen? (57)

Frage von sabines zum Thema Internet ...

Soziale Netzwerke
gelöst Facebook profil umwandeln in seite (13)

Frage von jensgebken zum Thema Soziale Netzwerke ...

CMS
gelöst PhpMyAdmin Login-Seite wird nicht dargestellt (3)

Frage von Static zum Thema CMS ...

Neue Wissensbeiträge
Tipps & Tricks

Wie Hackt man sich am besten in ein Computernetzwerk ein

(29)

Erfahrungsbericht von Herbrich19 zum Thema Tipps & Tricks ...

Humor (lol)

Bester Vorschlag eines Supporttechnikers ever: APC

(15)

Erfahrungsbericht von DerWoWusste zum Thema Humor (lol) ...

Heiß diskutierte Inhalte
Netzwerke
LAN2LAN Verbindung sehr langsam flaschenhals gesucht (27)

Frage von PixL86 zum Thema Netzwerke ...

LAN, WAN, Wireless
Rogue Access Point (20)

Frage von Axel90 zum Thema LAN, WAN, Wireless ...

Webbrowser
Windows 7 unbeliebte Internetseite sperren (13)

Frage von Daoudi1973 zum Thema Webbrowser ...

E-Mail
Fake E-Mail in Outlook für Demonstartionszwecke (12)

Frage von sascha382 zum Thema E-Mail ...