Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

gelöst Webcrawler dursucht Seite nicht

Mitglied: 68702

68702 (Level 2)

28.09.2009, aktualisiert 15:41 Uhr, 4300 Aufrufe, 7 Kommentare

Moin,
ich habe das Problem, dass Webcrawler zwar die robots.txt und den HEAD durchsucht, aber dann durchsucht der Webcrawler die Seite nicht.
Das ist der Inhalt der robots.txt:

User-agent: *
Disallow:

Normalerweise sollte die ganze Seite durchsucht werden können, oder ?
Google gibt nur Tipps wie ich Webcrawler verbiete.
Mitglied: mc-doubleyou
28.09.2009 um 15:41 Uhr
Mit Webcrawler meinst du Bots die im namen von Google und Co. das WWW durchsuchen oder verstehe ich da was falsch?
Bitte warten ..
Mitglied: 68702
28.09.2009 um 15:49 Uhr
Richtig, Bots, die die Seite durchsuchen, das Ergebnis an google und co übergeben und später bei eingabe des richtigen Suchbegriffs bei einer Suchmaschine ein Ergebnis liefern.
Bitte warten ..
Mitglied: mc-doubleyou
28.09.2009 um 16:03 Uhr
und du willst SEO Optimierung betreiben oder wie soll ich das verstehen wegen der robots.txt
Bitte warten ..
Mitglied: Arano
28.09.2009 um 16:38 Uhr
Moin moin

Ein Schlüsselwort Allow: wurde niemals definiert
Quelle: http://de.selfhtml.org/diverses/robots.htm
Das dürfte erklären warum nur auf das verbieten eingegangen wird ;)

Also eigentlich sollte es funktionieren denke ich.
Sag mal, in welchem Zeitraum hast du das beobachtet ?
Ich habe bei mir nämlich festgestellt, das die Bots nur einen kleinen Teil (ein paar Links weit) die Seite indiziere und später weiter machen (weiss jetzt nicht ob Stunden oder Tage).


~Arano
Bitte warten ..
Mitglied: mc-doubleyou
28.09.2009 um 16:45 Uhr
stimmt ^^

das heißt nichts anderes wie niemand das irgendwas - insofern nicht das was du willst
Bitte warten ..
Mitglied: 68702
29.09.2009 um 13:25 Uhr
Die Seite läuft seit ca. 3 Monaten, kann schon sein dass der Crawler später noch vorbeischaut und die Seite dann durchsucht.
Aber machen das alle Crawler so ?
Bitte warten ..
Mitglied: mc-doubleyou
29.09.2009 um 13:36 Uhr
das dauert schon

indexiert wirds in 2-3 tagen spätestens bis der dann wieder kommt kann schon einiges an zeit vergehen
Bitte warten ..
Ähnliche Inhalte
Entwicklung
Webcrawler für Portal realisieren
Frage von rababar2014Entwicklung1 Kommentar

Moin Entwickler, ich bin gerade dabei mit einem Kollegen eine Projektidee für ein Portal auszuarbeiten und zu planen. Grob ...

Batch & Shell

Batchdatei - Welche ein Ubuntu-System dursucht und ggf Datei zu Windows kopiert

gelöst Frage von Hitek88Batch & Shell7 Kommentare

Hallo liebe Community, ich habe mir eine Batch-Datei zusammengebastelt, welche leider noch nicht funktioniert. Die Batch soll folgendes machen: ...

PHP

Navigationsanzeige auf derselben Seite

gelöst Frage von honeybeePHP6 Kommentare

Hallo, ich habe ja das Problem mit der Navigation (siehe hier) nun gelöst. Nun habe ich noch ein weiteres ...

Administrator.de Feedback

Umgangsformen auf der Seite

Information von FrankAdministrator.de Feedback27 Kommentare

In Zeiten von Facebook oder Twitter vergessen gerade die jungen User hier und da mal die Netiquette (Höflichkeitsregeln/Umgangsformen). Mann ...

Neue Wissensbeiträge
Sicherheit

MikroTik-Router patchen, Schwachstelle wird ausgenutzt

Information von kgborn vor 7 StundenSicherheit

Am 23. April 2018 wurde von Mikrotik ein Security Advisory herausgegeben, welches auf eine Schwachstelle im RouterOS hinwies. Mikrotik ...

Windows 10

Microcode-Updates KB4090007, KB4091663, KB4091664, KB4091666 für Windows 10

Information von kgborn vor 14 StundenWindows 101 Kommentar

Kurze Information für Administratoren von Windows 10-Systemen, die mit neueren Intel CPUs laufen. Microsoft hat zum 23. April 2018 ...

iOS
Updates für Iphone und Co
Information von sabines vor 17 StundeniOS

Gestern abend ist iOS 11.3.1 erschienen, ein kleineres Update, dass einige Lücken schließt und "Lahmlegen" nach einem Display Tausch ...

Windows 7

Windows 7 - Server 2008 R2: Exploit für Total Meltdown verfügbar

Information von kgborn vor 2 TagenWindows 7

Kleine Information für Administratoren, die für die Updates von Windows 7 SP1 und Windows Server 2008 R2 SP1 verantwortlich ...

Heiß diskutierte Inhalte
Batch & Shell
Powershell: Im AD nach Rechnern mit bestimmten IP-Adressen suchen
gelöst Frage von Raven42Batch & Shell36 Kommentare

Hallo zusammen, ich suche nach einer Möglichkeit nach Computern im AD zu suchen , deren IP-Adresse mit 10.11.12. beginnt. ...

C und C++
Frage1 C Programmierung-Makefile Frage2 PHP-Programmierung HTTP-Fehler 404
Frage von KatalinaC und C++34 Kommentare

Hallo, ich habe 2 Fragen, die nichts miteinander zu tun haben aber mit denen ich mich gerade beschäftige: 1. ...

LAN, WAN, Wireless
Watchguard T15 VPN Einrichtung
gelöst Frage von thomasjayLAN, WAN, Wireless25 Kommentare

Hallo zusammen, wir möchten gerne über unsere Watchguard T15 einen VPN-Tunnel (Mobile VPN with IPSec) einrichten! Als Client nutzen ...

Windows Server
Alten DC entfernen
Frage von smartinoWindows Server24 Kommentare

Hallo zusammen, ich habe hier eine Umgebung übernommen und erstmal einen DCDIAG gemacht. Dabei fällt auf, daß eine ganze ...