Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Das anzeigen einer robot.txt verhindern

Frage Entwicklung Webentwicklung

Mitglied: B0d0

B0d0 (Level 1) - Jetzt verbinden

28.04.2006, aktualisiert 04.06.2006, 4567 Aufrufe, 4 Kommentare

Hallo Sportsfreunde

Ich habe eine robot.txt geschrieben um den Suchmaschinen den Zugriff auf bestimmte Ordner zu verbieten.
Natürlich möchte ich auch das da niemand sonst weiß, welche Ordner mir den so wichtig sind.

Wenn man aber in der root die robot.txt im Browser aufruft, dann wird die komplette *.txt angezeigt.
Kann man das irgendwie unterbinden ?
Z.B. über .htaccess ???

Mit freundlichen Grüßen

B0d0
Mitglied: Raphael
28.04.2006 um 13:32 Uhr
wäre möglich ... du könntest die datei per htaccess nur für webcrawler zulassen ...
müsstest eine liste der webcrawler (zb. googlebot, etc) haben...
ist aber mühsam und auch nicht wirklich sicher ... wie wärs wenn du deine "eigenen" verzeichnisse einfach per htaccess mit password schützt?
Bitte warten ..
Mitglied: B0d0
28.04.2006 um 14:57 Uhr
Habe ich mir auch schon überlegt. Aber kommen die Crawler und Spider usw. noch auf die robot.txt ???
Ich habe gelesen, das die robot.txt unbedingt in die HTML root muß .

Danke für die schnelle Antwort

Gruß
B0d0
Bitte warten ..
Mitglied: odicin
28.04.2006 um 16:27 Uhr
Habe ich mir auch schon überlegt. Aber
kommen die Crawler und Spider usw. noch auf
die robot.txt ???
Ich habe gelesen, das die robot.txt
unbedingt in die HTML root muß .

Ja, muß Sie. Mit htacces solltest du auch lieber die Verzeichnisse schützen, die nicht von jedem eingesehen werden sollen.

Eine weitere Möglichkeit ist in der robots.txt einfach erstmal alles für eine Indexierung auszuschließen, und nur die Verzeichnisse für eine Indexierung freizugeben, die du für unbedenklich hälst.

Gruß Odi
Bitte warten ..
Mitglied: 16568
04.06.2006 um 20:37 Uhr
Die letzte Antwort ist hier die einzig richtige.

5 Stars.


Lonesome Walker
Bitte warten ..
Ähnliche Inhalte
Windows 10
Windows 10 Anzeigen von Accounts auf dem Anmeldebildschirm verhindern
Anleitung von MvinogradacWindows 109 Kommentare

Quelle: MVC-Computertechnik Wer in der Firma potenzielle sensible Informationen, wie in unserem Beispiel Accounts auf dem Anmeldebildschirm, verhindern oder ...

Server-Hardware
Serverausfall verhindern
Frage von aracaracServer-Hardware7 Kommentare

Hallo, wir haben einen Rootserver bei Server4you und betreiben einen Onlineshop auf diesem Server. Sollte es mal einen Hack ...

Microsoft
Verschieben von Dateien oder Ordnern verhindern
Tipp von HubertNMicrosoft6 Kommentare

Jeder Admin kennt das: Hilferuf, weil ein Ordner spurlos verschwunden ist. Praktisch immer, findest sich derselbe dann in einem ...

Internet
Interstitial Werbung verhindern
gelöst Frage von TaumelInternet14 Kommentare

Hallo! Habe seit ein paar Tagen diese sehr lästigen Werbungseinblendungen unter Web.de. Mit jedem Aufruf einer X-beliebigen Internetseite, wird ...

Neue Wissensbeiträge
Apple

IOS 11.2.1 stopft HomeKit-Remote-Lücke

Tipp von BassFishFox vor 22 StundenApple

Das Update für iPhone, iPad und Apple TV soll die Fernsteuerung von Smart-Home-Geräten wieder in vollem Umfang ermöglichen. Apple ...

Windows 10

Windows 10 v1709 EN murkst bei den Regionseinstellungen

Tipp von DerWoWusste vor 1 TagWindows 10

Dieser kurze Tipp richtet sich an den kleinen Personenkreis, der Win10 v1709 EN-US frisch installiert und dabei die englische ...

Webbrowser

Kein Ton bei Firefox Quantum über RDP

Tipp von Moddry vor 1 TagWebbrowser

Hallo Kollegen! Hatte das Problem, dass der neue Firefox bei mir auf der Kiste keinen Ton hat, wenn ich ...

Internet

EU-DSGVO: WHOIS soll weniger Informationen liefern

Information von sabines vor 1 TagInternet4 Kommentare

Wegen der europäische Datenschutzgrundverordnung stehen die Prozesse um die Registrierung von Domains auf dem Prüfstand. Sollte die Forderungen umgesetzt ...

Heiß diskutierte Inhalte
Hardware
Kein Bild mit nur einer bestimmten Grafikkarten - Mainboard Konfiguration
Frage von bestelittHardware18 Kommentare

Hallo zusammen, ich hatte schon einmal eine ähnliche Frage gestellt. Damals hatte ich genau das gleiche Problem. Allerdings lies ...

Windows Server
RODC kann nicht aus Domäne entfernt werden
Frage von NilsvLehnWindows Server18 Kommentare

HAllo, ich arbeite in einem Universitätsnetzwerk mit 3 Standorten. Die Standorte haben alle ein ESXi Cluster und auf diesen ...

Hardware
Links klick bei Maus funktioniert nicht
gelöst Frage von Pablu23Hardware16 Kommentare

Hallo erstmal. Ich habe ein Problem mit meiner relativ alten maus jedoch denke ich nicht das es an der ...

Netzwerkmanagement
Mehrere Netzwerkadapter in einem PC zu einem Switch zusammenfügen
Frage von prodriveNetzwerkmanagement16 Kommentare

Hallo zusammen Vorweg, ich konnte schon einige IT-Probleme mit Hilfe dieses Forums lösen. Wirklich klasse hier! Doch für das ...