Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Boese UserAgent fernhalten via Robots.txt

Mitglied: Seardan

Seardan (Level 1) - Jetzt verbinden

28.05.2011 um 22:42 Uhr, 4617 Aufrufe, 1 Kommentar

Macht es Sinn, böse Robots (Spider,Crawler), die nur auf der Suche nach E-Mail Adressen sind oder sonstigen Unsinn treiben, per robots.txt auszuschließen?

Werden sich böse Spinnen tatsächlich an einen Eintrag in der robots.txt Datei halten? Ob die robots.txt nun ignoriert wird oder nicht, lässt sich allerdings nur im Selbstversuch testen.

Ich arbeite gerade an meine Robots.txt und bin mir nicht sicher ob sich der Aufwand tatsächlich rechnet.

Dank für euer Feedback

Andreas
Mitglied: markozz
28.05.2011 um 23:59 Uhr
Hallo Andreas,

die robots.txt ist ja ein Mittel um (seriöse) darauf "hinzuweisen", dass dein Content nicht, bzw. nach vorgegebenen Regeln gecrawlt werden soll.
Weniger seriöse Robots werden sich sicher nicht an diese Text-Datei halten. Dazu nutzt man eher ".htaccess - Regeln" mit dem Nachteil, dass sie Umständlicher und Wartungsintensiver sind. Man sperrt darin meisst "ALLE Bots AUSSER: Bots die dürfen ... ", aber dann sperrt man sicher auch unbekannte Gute wichtige Bots oder sogar Besucher!

Besser ist immer Mailadressen "Bot-sicherer" zu gestalten (als auf Verdacht irgendwas zu sperren), z.B. in dem man das "@-Zeichen" oder die ganze Mailadresse als Bilddatei anzeigen lässt oder Scripte verwendet, die Mailadressen verschleiern. Das "mailto:" ist zwar bequem bringt aber sicher sehr viele neue "Mailfreundschaften"...

Gruß@all!
Bitte warten ..
Ähnliche Inhalte
Erkennung und -Abwehr

Unbekannter Link im Google Chrome - böse???

Frage von upietheErkennung und -Abwehr3 Kommentare

Hallo zusammen, ich habe auf zwei Kundenrechner gesehen, das Google Chrome eine Verbindung zu -m77.dnsqa365.com (Kaspersky hat die Authentizität ...

Batch & Shell

KB3035583 entfernen und dauerhaft fernhalten als Batch oder Script

Frage von SarekHLBatch & Shell5 Kommentare

Hallo zusammen, gibt es eine Möglichkeit, die vier notwendigen Schritte zur dauerhaften Deinstallation von KB3035583, also: Deinstallation des bereits ...

Batch & Shell

Datei automatisch downloaden (Problem mit robots.txt Restriktion und wget)

gelöst Frage von peterhaBatch & Shell7 Kommentare

Moin zusammen, ich will eine Datei automatisch herunterladen lassen. Der Job wird per Aufgabenplanung gestartet. Rufe ich meine CMD ...

Verschlüsselung & Zertifikate

Mail Zertifikatsfehler in Outlook- Zertifikat sieht böse aus

Frage von PPR-DevVerschlüsselung & Zertifikate5 Kommentare

Hallo Zusammen Heute hat Outlook an einem PC einen Zertifikatsfehler ausgespuckt Der Fehler ist der wie hier: NUN: Ich ...

Neue Wissensbeiträge
Windows 7

Windows 7 - Server 2008 R2: Exploit für Total Meltdown verfügbar

Information von kgborn vor 1 TagWindows 7

Kleine Information für Administratoren, die für die Updates von Windows 7 SP1 und Windows Server 2008 R2 SP1 verantwortlich ...

Sicherheit

Zero Day-Schwachstelle im Internet Explorer - wird von APT bereits ausgenutzt

Information von kgborn vor 1 TagSicherheit

Im Kernel des Internet Explorer scheint es eine Zero Day-Lücke zu geben, die von staatlichen Akteuren (APT) im Rahmen ...

Microsoft
Folder Security Viewer-Lizenzen zu gewinnen
Information von kgborn vor 1 TagMicrosoft

Ich nehme das Thema mal in Absprache mit Frank hier auf, da es für den einen oder anderen Administrator ...

Hardware

Feueralarm killt Festplatten in Rechenzentrum - führt zu größerem Ausfall

Information von kgborn vor 1 TagHardware12 Kommentare

Noch ein kleiner Beitrag für Administratoren, die in Rechenzentren aktiv sind - so als Fingerzeig. Denn es gibt Szenarien, ...

Heiß diskutierte Inhalte
C und C++
Frage1 C Programmierung-Makefile Frage2 PHP-Programmierung HTTP-Fehler 404
Frage von KatalinaC und C++27 Kommentare

Hallo, ich habe 2 Fragen, die nichts miteinander zu tun haben aber mit denen ich mich gerade beschäftige: 1. ...

Linux
Linux Server oder Windows Server - lohnt eine Umstellung auf Linux und ebenso basierende SW bei einer langfristigen Planung?
Frage von motus5Linux27 Kommentare

Wir brauchen bei uns einen neuen Server. Dieser wird als Fileserver, Domäne Controller sowie Exchange Server verwendet. Wir versuchen ...

LAN, WAN, Wireless
Watchguard T15 VPN Einrichtung
gelöst Frage von thomasjayLAN, WAN, Wireless22 Kommentare

Hallo zusammen, wir möchten gerne über unsere Watchguard T15 einen VPN-Tunnel (Mobile VPN with IPSec) einrichten! Als Client nutzen ...

DSL, VDSL
ISP Wechsel auf Vodefone Koax, Gebäudeverkabelung nur per Cat 7
gelöst Frage von wusa88DSL, VDSL19 Kommentare

Hallo Zusammen, ich bin momentan bei Mnet als Glasfaser Kunde und möchte Preis/Leistungs-Technisch zu Kabel Deutschland / Vodafone wechseln. ...