Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Das anzeigen einer robot.txt verhindern

Frage Entwicklung Webentwicklung

Mitglied: B0d0

B0d0 (Level 1) - Jetzt verbinden

28.04.2006, aktualisiert 04.06.2006, 4540 Aufrufe, 4 Kommentare

Hallo Sportsfreunde

Ich habe eine robot.txt geschrieben um den Suchmaschinen den Zugriff auf bestimmte Ordner zu verbieten.
Natürlich möchte ich auch das da niemand sonst weiß, welche Ordner mir den so wichtig sind.

Wenn man aber in der root die robot.txt im Browser aufruft, dann wird die komplette *.txt angezeigt.
Kann man das irgendwie unterbinden ?
Z.B. über .htaccess ???

Mit freundlichen Grüßen

B0d0
Mitglied: Raphael
28.04.2006 um 13:32 Uhr
wäre möglich ... du könntest die datei per htaccess nur für webcrawler zulassen ...
müsstest eine liste der webcrawler (zb. googlebot, etc) haben...
ist aber mühsam und auch nicht wirklich sicher ... wie wärs wenn du deine "eigenen" verzeichnisse einfach per htaccess mit password schützt?
Bitte warten ..
Mitglied: B0d0
28.04.2006 um 14:57 Uhr
Habe ich mir auch schon überlegt. Aber kommen die Crawler und Spider usw. noch auf die robot.txt ???
Ich habe gelesen, das die robot.txt unbedingt in die HTML root muß .

Danke für die schnelle Antwort

Gruß
B0d0
Bitte warten ..
Mitglied: odicin
28.04.2006 um 16:27 Uhr
Habe ich mir auch schon überlegt. Aber
kommen die Crawler und Spider usw. noch auf
die robot.txt ???
Ich habe gelesen, das die robot.txt
unbedingt in die HTML root muß .

Ja, muß Sie. Mit htacces solltest du auch lieber die Verzeichnisse schützen, die nicht von jedem eingesehen werden sollen.

Eine weitere Möglichkeit ist in der robots.txt einfach erstmal alles für eine Indexierung auszuschließen, und nur die Verzeichnisse für eine Indexierung freizugeben, die du für unbedenklich hälst.

Gruß Odi
Bitte warten ..
Mitglied: 16568
04.06.2006 um 20:37 Uhr
Die letzte Antwort ist hier die einzig richtige.

5 Stars.


Lonesome Walker
Bitte warten ..
Ähnliche Inhalte
Neue Wissensbeiträge
Tipps & Tricks

Wie Hackt man sich am besten in ein Computernetzwerk ein

(29)

Erfahrungsbericht von Herbrich19 zum Thema Tipps & Tricks ...

Humor (lol)

Bester Vorschlag eines Supporttechnikers ever: APC

(15)

Erfahrungsbericht von DerWoWusste zum Thema Humor (lol) ...

Windows Server

Exchange 2010 Active Directory und Windows Server 2016

(4)

Erfahrungsbericht von Herbrich19 zum Thema Windows Server ...

Heiß diskutierte Inhalte
Internet
gelöst Mitarbeiter surft auf unerwünschter Seite - Wie damit umgehen? (48)

Frage von sabines zum Thema Internet ...

Netzwerke
Wie erstelle ich ein Intranet (19)

Frage von Leonardnet zum Thema Netzwerke ...

LAN, WAN, Wireless
gelöst Eintägige Netzwerkunterbrechung trotz Backupleitung (15)

Frage von iAmbricksta zum Thema LAN, WAN, Wireless ...

Windows Server
Server 2012 R2 - Zugriff Verweigert bei jeglicher Tätigkeit (13)

Frage von DarkLevi zum Thema Windows Server ...