Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Boese UserAgent fernhalten via Robots.txt

Frage Internet

Mitglied: Seardan

Seardan (Level 1) - Jetzt verbinden

28.05.2011 um 22:42 Uhr, 4535 Aufrufe, 1 Kommentar

Macht es Sinn, böse Robots (Spider,Crawler), die nur auf der Suche nach E-Mail Adressen sind oder sonstigen Unsinn treiben, per robots.txt auszuschließen?

Werden sich böse Spinnen tatsächlich an einen Eintrag in der robots.txt Datei halten? Ob die robots.txt nun ignoriert wird oder nicht, lässt sich allerdings nur im Selbstversuch testen.

Ich arbeite gerade an meine Robots.txt und bin mir nicht sicher ob sich der Aufwand tatsächlich rechnet.

Dank für euer Feedback

Andreas
Mitglied: markozz
28.05.2011 um 23:59 Uhr
Hallo Andreas,

die robots.txt ist ja ein Mittel um (seriöse) darauf "hinzuweisen", dass dein Content nicht, bzw. nach vorgegebenen Regeln gecrawlt werden soll.
Weniger seriöse Robots werden sich sicher nicht an diese Text-Datei halten. Dazu nutzt man eher ".htaccess - Regeln" mit dem Nachteil, dass sie Umständlicher und Wartungsintensiver sind. Man sperrt darin meisst "ALLE Bots AUSSER: Bots die dürfen ... ", aber dann sperrt man sicher auch unbekannte Gute wichtige Bots oder sogar Besucher!

Besser ist immer Mailadressen "Bot-sicherer" zu gestalten (als auf Verdacht irgendwas zu sperren), z.B. in dem man das "@-Zeichen" oder die ganze Mailadresse als Bilddatei anzeigen lässt oder Scripte verwendet, die Mailadressen verschleiern. Das "mailto:" ist zwar bequem bringt aber sicher sehr viele neue "Mailfreundschaften"...

Gruß@all!
Bitte warten ..
Neuester Wissensbeitrag
Microsoft

Microsoft Telefonaktivierungs App

(17)

Tipp von alik47 zum Thema Microsoft ...

Ähnliche Inhalte
Microsoft Office
gelöst Excel VBA - Inhalte und Dateiname von txt-Dateien automatisch in Excel importieren (2)

Frage von Booster07 zum Thema Microsoft Office ...

Batch & Shell
Batch-Variable nach Stichworten aus TXT Datei durchsuchen (3)

Frage von Markus5579 zum Thema Batch & Shell ...

Webentwicklung
gelöst HTML Output in eine txt Datei mit VisualBasicScript (2)

Frage von coca22COCA zum Thema Webentwicklung ...

Heiß diskutierte Inhalte
Google Android
gelöst Android-Handy versehentlich (dauerhaft) gesperrt? (18)

Frage von FA-jka zum Thema Google Android ...

Batch & Shell
gelöst Ordner und Datei Name gleich (BATCH) (12)

Frage von clragon zum Thema Batch & Shell ...

DSL, VDSL
gelöst DSL 200m verlängern (11)

Frage von Angela44 zum Thema DSL, VDSL ...

Windows Server
SBS 2011 Standard virtualisieren (11)

Frage von HeinrichM zum Thema Windows Server ...