Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Frage Internet

Boese UserAgent fernhalten via Robots.txt

Mitglied: Seardan

Seardan (Level 1) - Jetzt verbinden

28.05.2011 um 22:42 Uhr, 4604 Aufrufe, 1 Kommentar

Macht es Sinn, böse Robots (Spider,Crawler), die nur auf der Suche nach E-Mail Adressen sind oder sonstigen Unsinn treiben, per robots.txt auszuschließen?

Werden sich böse Spinnen tatsächlich an einen Eintrag in der robots.txt Datei halten? Ob die robots.txt nun ignoriert wird oder nicht, lässt sich allerdings nur im Selbstversuch testen.

Ich arbeite gerade an meine Robots.txt und bin mir nicht sicher ob sich der Aufwand tatsächlich rechnet.

Dank für euer Feedback

Andreas
Mitglied: markozz
28.05.2011 um 23:59 Uhr
Hallo Andreas,

die robots.txt ist ja ein Mittel um (seriöse) darauf "hinzuweisen", dass dein Content nicht, bzw. nach vorgegebenen Regeln gecrawlt werden soll.
Weniger seriöse Robots werden sich sicher nicht an diese Text-Datei halten. Dazu nutzt man eher ".htaccess - Regeln" mit dem Nachteil, dass sie Umständlicher und Wartungsintensiver sind. Man sperrt darin meisst "ALLE Bots AUSSER: Bots die dürfen ... ", aber dann sperrt man sicher auch unbekannte Gute wichtige Bots oder sogar Besucher!

Besser ist immer Mailadressen "Bot-sicherer" zu gestalten (als auf Verdacht irgendwas zu sperren), z.B. in dem man das "@-Zeichen" oder die ganze Mailadresse als Bilddatei anzeigen lässt oder Scripte verwendet, die Mailadressen verschleiern. Das "mailto:" ist zwar bequem bringt aber sicher sehr viele neue "Mailfreundschaften"...

Gruß@all!
Bitte warten ..
Ähnliche Inhalte
Erkennung und -Abwehr
Unbekannter Link im Google Chrome - böse???
Frage von upietheErkennung und -Abwehr3 Kommentare

Hallo zusammen, ich habe auf zwei Kundenrechner gesehen, das Google Chrome eine Verbindung zu -m77.dnsqa365.com (Kaspersky hat die Authentizität ...

Batch & Shell
KB3035583 entfernen und dauerhaft fernhalten als Batch oder Script
Frage von SarekHLBatch & Shell5 Kommentare

Hallo zusammen, gibt es eine Möglichkeit, die vier notwendigen Schritte zur dauerhaften Deinstallation von KB3035583, also: Deinstallation des bereits ...

Batch & Shell
Datei automatisch downloaden (Problem mit robots.txt Restriktion und wget)
gelöst Frage von peterhaBatch & Shell7 Kommentare

Moin zusammen, ich will eine Datei automatisch herunterladen lassen. Der Job wird per Aufgabenplanung gestartet. Rufe ich meine CMD ...

Verschlüsselung & Zertifikate
Mail Zertifikatsfehler in Outlook- Zertifikat sieht böse aus
Frage von PPR-DevVerschlüsselung & Zertifikate5 Kommentare

Hallo Zusammen Heute hat Outlook an einem PC einen Zertifikatsfehler ausgespuckt Der Fehler ist der wie hier: NUN: Ich ...

Neue Wissensbeiträge
Linux

Meltdown und Spectre: Linux Update

Information von Frank vor 18 StundenLinux

Meltdown (Variante 3 des Prozessorfehlers) Der Kernel 4.14.13 mit den Page-Table-Isolation-Code (PTI) ist nun für Fedora freigegeben worden. Er ...

Tipps & Tricks

Solutio Charly Updater Fehlermeldung: Das Abgleichen der Dateien in -Pfad- mit dem Datenobject ist fehlgeschlagen

Tipp von StefanKittel vor 1 TagTipps & Tricks

Hallo, hier einmal als Tipp für alle unter Euch die mit der Zahnarztabrechnungssoftware Charly von Solutio zu tun haben. ...

Sicherheit

Meltdown und Spectre: Wir brauchen eine "Abwrackprämie", die die CPU-Hersteller bezahlen

Information von Frank vor 1 TagSicherheit12 Kommentare

Zum aktuellen Thema Meltdown und Spectre: Ich wünsche mir von den CPU-Herstellern wie Intel, AMD oder ARM eine Art ...

Sicherheit

Meltdown und Spectre: Realitätscheck

Information von Frank vor 1 TagSicherheit9 Kommentare

Die unangenehme Realität Der Prozessorfehler mit seinen Varianten Meltdown und Spectre ist seit Juni 2017 bekannt. Trotzdem sind immer ...

Heiß diskutierte Inhalte
Sicherheit
Meltdown und Spectre: Die machen uns alle was vor
Information von FrankSicherheit25 Kommentare

Aktuell sieht es in den Medien so aus, als hätten die Hersteller wie Intel, Microsoft und Co den aktuellen ...

Netzwerke
Packet loss bei "InternetLeitungsvollauslastung"
gelöst Frage von Freak-On-SiliconNetzwerke17 Kommentare

Servus; Ja der Titel klingt komisch, is aber so. Wenn die Internetleitung voll ausgelastet ist, hab ich extreme packet ...

Ubuntu
Ubuntu - Starter für nicht vertrauenswürdige Anwendungen
Frage von adm2015Ubuntu17 Kommentare

Hallo zusammen, Ich verwende derzeit die Ubuntu Versionen 17.10 bzw. im Test 18.04. Ich habe mehrere .desktop Dateien in ...

Windows 10
Automatische daten kopieren, USB zu USB unter Win10 im Hintergrund
Frage von DerEisigeWindows 1016 Kommentare

Hallo Leute, ich bin auf der Suche nach einem Skript, dass von einem USB Stick automatisch nach dem einstecken ...