Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Das anzeigen einer robot.txt verhindern

Frage Entwicklung Webentwicklung

Mitglied: B0d0

B0d0 (Level 1) - Jetzt verbinden

28.04.2006, aktualisiert 04.06.2006, 4536 Aufrufe, 4 Kommentare

Hallo Sportsfreunde

Ich habe eine robot.txt geschrieben um den Suchmaschinen den Zugriff auf bestimmte Ordner zu verbieten.
Natürlich möchte ich auch das da niemand sonst weiß, welche Ordner mir den so wichtig sind.

Wenn man aber in der root die robot.txt im Browser aufruft, dann wird die komplette *.txt angezeigt.
Kann man das irgendwie unterbinden ?
Z.B. über .htaccess ???

Mit freundlichen Grüßen

B0d0
Mitglied: Raphael
28.04.2006 um 13:32 Uhr
wäre möglich ... du könntest die datei per htaccess nur für webcrawler zulassen ...
müsstest eine liste der webcrawler (zb. googlebot, etc) haben...
ist aber mühsam und auch nicht wirklich sicher ... wie wärs wenn du deine "eigenen" verzeichnisse einfach per htaccess mit password schützt?
Bitte warten ..
Mitglied: B0d0
28.04.2006 um 14:57 Uhr
Habe ich mir auch schon überlegt. Aber kommen die Crawler und Spider usw. noch auf die robot.txt ???
Ich habe gelesen, das die robot.txt unbedingt in die HTML root muß .

Danke für die schnelle Antwort

Gruß
B0d0
Bitte warten ..
Mitglied: odicin
28.04.2006 um 16:27 Uhr
Habe ich mir auch schon überlegt. Aber
kommen die Crawler und Spider usw. noch auf
die robot.txt ???
Ich habe gelesen, das die robot.txt
unbedingt in die HTML root muß .

Ja, muß Sie. Mit htacces solltest du auch lieber die Verzeichnisse schützen, die nicht von jedem eingesehen werden sollen.

Eine weitere Möglichkeit ist in der robots.txt einfach erstmal alles für eine Indexierung auszuschließen, und nur die Verzeichnisse für eine Indexierung freizugeben, die du für unbedenklich hälst.

Gruß Odi
Bitte warten ..
Mitglied: 16568
04.06.2006 um 20:37 Uhr
Die letzte Antwort ist hier die einzig richtige.

5 Stars.


Lonesome Walker
Bitte warten ..
Ähnliche Inhalte
Windows 10
Windows 10 Anzeigen von Accounts auf dem Anmeldebildschirm verhindern (9)

Anleitung von Mvinogradac zum Thema Windows 10 ...

Batch & Shell
Per Batch eine XLS-Datei in eine TXT-Datei umwandeln (5)

Frage von skiing69 zum Thema Batch & Shell ...

Webbrowser
Doc oder Docx in Webbrowser lesend anzeigen (2)

Frage von ChrisDynamite zum Thema Webbrowser ...

Neue Wissensbeiträge
Drucker und Scanner

Samsung SL-M4025ND, firmware update und (kompatible) Tonerkassetten

(1)

Erfahrungsbericht von markus-1969 zum Thema Drucker und Scanner ...

Router & Routing

PfSense auf Supermicro Intel Xeon D-15x8 SoC Bare Bone

Tipp von Dobby zum Thema Router & Routing ...

Windows Server

Exchange 2010 auf Windows Server 2016 und AD

(2)

Tipp von Herbrich19 zum Thema Windows Server ...

KVM

How to: Libvirt Port forwarding

(2)

Anleitung von fundave3 zum Thema KVM ...

Heiß diskutierte Inhalte
Router & Routing
über Vmware auf eine FritzBox mit IPv6 per VPN (17)

Frage von Zockervogel zum Thema Router & Routing ...

Basic
Programmierung von Windows Programmen (9)

Frage von Ghost108 zum Thema Basic ...