Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Boese UserAgent fernhalten via Robots.txt

Frage Internet

Mitglied: Seardan

Seardan (Level 1) - Jetzt verbinden

28.05.2011 um 22:42 Uhr, 4541 Aufrufe, 1 Kommentar

Macht es Sinn, böse Robots (Spider,Crawler), die nur auf der Suche nach E-Mail Adressen sind oder sonstigen Unsinn treiben, per robots.txt auszuschließen?

Werden sich böse Spinnen tatsächlich an einen Eintrag in der robots.txt Datei halten? Ob die robots.txt nun ignoriert wird oder nicht, lässt sich allerdings nur im Selbstversuch testen.

Ich arbeite gerade an meine Robots.txt und bin mir nicht sicher ob sich der Aufwand tatsächlich rechnet.

Dank für euer Feedback

Andreas
Mitglied: markozz
28.05.2011 um 23:59 Uhr
Hallo Andreas,

die robots.txt ist ja ein Mittel um (seriöse) darauf "hinzuweisen", dass dein Content nicht, bzw. nach vorgegebenen Regeln gecrawlt werden soll.
Weniger seriöse Robots werden sich sicher nicht an diese Text-Datei halten. Dazu nutzt man eher ".htaccess - Regeln" mit dem Nachteil, dass sie Umständlicher und Wartungsintensiver sind. Man sperrt darin meisst "ALLE Bots AUSSER: Bots die dürfen ... ", aber dann sperrt man sicher auch unbekannte Gute wichtige Bots oder sogar Besucher!

Besser ist immer Mailadressen "Bot-sicherer" zu gestalten (als auf Verdacht irgendwas zu sperren), z.B. in dem man das "@-Zeichen" oder die ganze Mailadresse als Bilddatei anzeigen lässt oder Scripte verwendet, die Mailadressen verschleiern. Das "mailto:" ist zwar bequem bringt aber sicher sehr viele neue "Mailfreundschaften"...

Gruß@all!
Bitte warten ..
Neuester Wissensbeitrag
Microsoft Office

MS Office Excel - Formel wird angezeigt, aber nicht berechneter Wert!

Tipp von holli.zimmi zum Thema Microsoft Office ...

Ähnliche Inhalte
Microsoft Office
gelöst Excel VBA: Automatische Konvertierung von Textdatei (.txt) zu Exceldatei (.xlsx) (7)

Frage von Booster07 zum Thema Microsoft Office ...

Batch & Shell
Maximale Größe zu verarbeitender txt-Dateien mit Batch (5)

Frage von Muck1303 zum Thema Batch & Shell ...

Batch & Shell
gelöst Inhalt einer .txt per Script bearbeiten (2)

Frage von hanni007 zum Thema Batch & Shell ...

Heiß diskutierte Inhalte
Exchange Server
Bestehende eMails autoamatisch weiterleiten (21)

Frage von metal-shot zum Thema Exchange Server ...

Hyper-V
gelöst Reiner Hyper- V Server oder lieber Rolle (21)

Frage von Winuser zum Thema Hyper-V ...

SAN, NAS, DAS
gelöst Synology Version 6.1 Probleme (18)

Frage von Hendrik2586 zum Thema SAN, NAS, DAS ...

Router & Routing
gelöst IP Kamera für drei unabhängige Netzwerke (16)

Frage von ProfessorZ zum Thema Router & Routing ...