Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Das anzeigen einer robot.txt verhindern

Frage Entwicklung Webentwicklung

Mitglied: B0d0

B0d0 (Level 1) - Jetzt verbinden

28.04.2006, aktualisiert 04.06.2006, 4551 Aufrufe, 4 Kommentare

Hallo Sportsfreunde

Ich habe eine robot.txt geschrieben um den Suchmaschinen den Zugriff auf bestimmte Ordner zu verbieten.
Natürlich möchte ich auch das da niemand sonst weiß, welche Ordner mir den so wichtig sind.

Wenn man aber in der root die robot.txt im Browser aufruft, dann wird die komplette *.txt angezeigt.
Kann man das irgendwie unterbinden ?
Z.B. über .htaccess ???

Mit freundlichen Grüßen

B0d0
Mitglied: Raphael
28.04.2006 um 13:32 Uhr
wäre möglich ... du könntest die datei per htaccess nur für webcrawler zulassen ...
müsstest eine liste der webcrawler (zb. googlebot, etc) haben...
ist aber mühsam und auch nicht wirklich sicher ... wie wärs wenn du deine "eigenen" verzeichnisse einfach per htaccess mit password schützt?
Bitte warten ..
Mitglied: B0d0
28.04.2006 um 14:57 Uhr
Habe ich mir auch schon überlegt. Aber kommen die Crawler und Spider usw. noch auf die robot.txt ???
Ich habe gelesen, das die robot.txt unbedingt in die HTML root muß .

Danke für die schnelle Antwort

Gruß
B0d0
Bitte warten ..
Mitglied: odicin
28.04.2006 um 16:27 Uhr
Habe ich mir auch schon überlegt. Aber
kommen die Crawler und Spider usw. noch auf
die robot.txt ???
Ich habe gelesen, das die robot.txt
unbedingt in die HTML root muß .

Ja, muß Sie. Mit htacces solltest du auch lieber die Verzeichnisse schützen, die nicht von jedem eingesehen werden sollen.

Eine weitere Möglichkeit ist in der robots.txt einfach erstmal alles für eine Indexierung auszuschließen, und nur die Verzeichnisse für eine Indexierung freizugeben, die du für unbedenklich hälst.

Gruß Odi
Bitte warten ..
Mitglied: 16568
04.06.2006 um 20:37 Uhr
Die letzte Antwort ist hier die einzig richtige.

5 Stars.


Lonesome Walker
Bitte warten ..
Ähnliche Inhalte
Windows 10
Windows 10 Anzeigen von Accounts auf dem Anmeldebildschirm verhindern (9)

Anleitung von Mvinogradac zum Thema Windows 10 ...

Windows 10
gelöst Herunterfahren RDP Windows 10 verhindern (4)

Frage von micha055 zum Thema Windows 10 ...

Windows 7
Adobe Reader - Verhindern Links auszuführen (6)

Frage von MARBHD zum Thema Windows 7 ...

Windows Server
GPO um zu verhindern, dass User freigegebene Drucker hinzufügen? (2)

Frage von eastfrisian zum Thema Windows Server ...

Neue Wissensbeiträge
Windows Update

Microsoft Update KB4034664 verursacht Probleme mit Multimonitor-Systemen

(2)

Tipp von beidermachtvongreyscull zum Thema Windows Update ...

Viren und Trojaner

CNC-Fräsen von MECANUMERIC werden (ggf.) mit Viren, Trojanern, Würmern ausgeliefert

(4)

Erfahrungsbericht von anteNope zum Thema Viren und Trojaner ...

Windows 10

Windows 10: Erste Anmeldung Animation deaktivieren

(3)

Anleitung von alemanne21 zum Thema Windows 10 ...

Heiß diskutierte Inhalte
Netzwerkprotokolle
gelöst Leiten "dumme" Switches VLAN-Tags mit durch? (25)

Frage von coltseavers zum Thema Netzwerkprotokolle ...

Windows Server
gelöst Neues KB für W10 1607 und W2K16 wieder mal nicht im WSUS 3.0, hat das noch jemand? (16)

Frage von departure69 zum Thema Windows Server ...

Router & Routing
FTTH bzw FTTB Router (13)

Frage von ukulele-7 zum Thema Router & Routing ...

Batch & Shell
Batch zum suchen und verschieben von Verknüpfungen (12)

Frage von zeroblue2005 zum Thema Batch & Shell ...