Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit
GELÖST

Webcrawler dursucht Seite nicht

Frage Internet

Mitglied: 68702

68702 (Level 2)

28.09.2009, aktualisiert 15:41 Uhr, 4249 Aufrufe, 7 Kommentare

Moin,
ich habe das Problem, dass Webcrawler zwar die robots.txt und den HEAD durchsucht, aber dann durchsucht der Webcrawler die Seite nicht.
Das ist der Inhalt der robots.txt:

User-agent: *
Disallow:

Normalerweise sollte die ganze Seite durchsucht werden können, oder ?
Google gibt nur Tipps wie ich Webcrawler verbiete.
Mitglied: mc-doubleyou
28.09.2009 um 15:41 Uhr
Mit Webcrawler meinst du Bots die im namen von Google und Co. das WWW durchsuchen oder verstehe ich da was falsch?
Bitte warten ..
Mitglied: 68702
28.09.2009 um 15:49 Uhr
Richtig, Bots, die die Seite durchsuchen, das Ergebnis an google und co übergeben und später bei eingabe des richtigen Suchbegriffs bei einer Suchmaschine ein Ergebnis liefern.
Bitte warten ..
Mitglied: mc-doubleyou
28.09.2009 um 16:03 Uhr
und du willst SEO Optimierung betreiben oder wie soll ich das verstehen wegen der robots.txt
Bitte warten ..
Mitglied: Arano
28.09.2009 um 16:38 Uhr
Moin moin

Ein Schlüsselwort Allow: wurde niemals definiert
Quelle: http://de.selfhtml.org/diverses/robots.htm
Das dürfte erklären warum nur auf das verbieten eingegangen wird ;)

Also eigentlich sollte es funktionieren denke ich.
Sag mal, in welchem Zeitraum hast du das beobachtet ?
Ich habe bei mir nämlich festgestellt, das die Bots nur einen kleinen Teil (ein paar Links weit) die Seite indiziere und später weiter machen (weiss jetzt nicht ob Stunden oder Tage).


~Arano
Bitte warten ..
Mitglied: mc-doubleyou
28.09.2009 um 16:45 Uhr
stimmt ^^

das heißt nichts anderes wie niemand das irgendwas - insofern nicht das was du willst
Bitte warten ..
Mitglied: 68702
29.09.2009 um 13:25 Uhr
Die Seite läuft seit ca. 3 Monaten, kann schon sein dass der Crawler später noch vorbeischaut und die Seite dann durchsucht.
Aber machen das alle Crawler so ?
Bitte warten ..
Mitglied: mc-doubleyou
29.09.2009 um 13:36 Uhr
das dauert schon

indexiert wirds in 2-3 tagen spätestens bis der dann wieder kommt kann schon einiges an zeit vergehen
Bitte warten ..
Ähnliche Inhalte
Windows Server
gelöst Windows SBS 2011 Remote Seite, neues Zertifikat nach StartCom (3)

Frage von andreas1234 zum Thema Windows Server ...

Entwicklung
Seite automatisch wieder ausrichten mit css oder javascript? (2)

Frage von rababar2014 zum Thema Entwicklung ...

JavaScript
gelöst Knoten in fremder HTML-Seite ausblenden ? (6)

Frage von bonsai132 zum Thema JavaScript ...

Neue Wissensbeiträge
Google Android

Cyanogenmod alternative Downloadquelle

(2)

Tipp von Lochkartenstanzer zum Thema Google Android ...

Batch & Shell

Batch als Dienst bei Systemstart ohne Anmeldung ausführen

(5)

Tipp von tralveller zum Thema Batch & Shell ...

Sicherheits-Tools

Sicherheitstest von Passwörtern für ganze DB-Tabellen

(1)

Tipp von gdconsult zum Thema Sicherheits-Tools ...

Heiß diskutierte Inhalte
Windows 7
gelöst Lokales Adminprofil defekt (25)

Frage von Yannosch zum Thema Windows 7 ...

LAN, WAN, Wireless
gelöst Statische Routen mit ISC-DHCP Server für Android Devices (22)

Frage von terminator zum Thema LAN, WAN, Wireless ...

Server
gelöst Wie erkennen, dass nur deutsche IPs Zugang zu einer Website haben? (22)

Frage von Coreknabe zum Thema Server ...

Exchange Server
gelöst Migration Exchange 2007 zu 2013 - Public Folder teilweise weg (16)

Frage von Andy1987 zum Thema Exchange Server ...