Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Das anzeigen einer robot.txt verhindern

Frage Entwicklung Webentwicklung

Mitglied: B0d0

B0d0 (Level 1) - Jetzt verbinden

28.04.2006, aktualisiert 04.06.2006, 4529 Aufrufe, 4 Kommentare

Hallo Sportsfreunde

Ich habe eine robot.txt geschrieben um den Suchmaschinen den Zugriff auf bestimmte Ordner zu verbieten.
Natürlich möchte ich auch das da niemand sonst weiß, welche Ordner mir den so wichtig sind.

Wenn man aber in der root die robot.txt im Browser aufruft, dann wird die komplette *.txt angezeigt.
Kann man das irgendwie unterbinden ?
Z.B. über .htaccess ???

Mit freundlichen Grüßen

B0d0
Mitglied: Raphael
28.04.2006 um 13:32 Uhr
wäre möglich ... du könntest die datei per htaccess nur für webcrawler zulassen ...
müsstest eine liste der webcrawler (zb. googlebot, etc) haben...
ist aber mühsam und auch nicht wirklich sicher ... wie wärs wenn du deine "eigenen" verzeichnisse einfach per htaccess mit password schützt?
Bitte warten ..
Mitglied: B0d0
28.04.2006 um 14:57 Uhr
Habe ich mir auch schon überlegt. Aber kommen die Crawler und Spider usw. noch auf die robot.txt ???
Ich habe gelesen, das die robot.txt unbedingt in die HTML root muß .

Danke für die schnelle Antwort

Gruß
B0d0
Bitte warten ..
Mitglied: odicin
28.04.2006 um 16:27 Uhr
Habe ich mir auch schon überlegt. Aber
kommen die Crawler und Spider usw. noch auf
die robot.txt ???
Ich habe gelesen, das die robot.txt
unbedingt in die HTML root muß .

Ja, muß Sie. Mit htacces solltest du auch lieber die Verzeichnisse schützen, die nicht von jedem eingesehen werden sollen.

Eine weitere Möglichkeit ist in der robots.txt einfach erstmal alles für eine Indexierung auszuschließen, und nur die Verzeichnisse für eine Indexierung freizugeben, die du für unbedenklich hälst.

Gruß Odi
Bitte warten ..
Mitglied: 16568
04.06.2006 um 20:37 Uhr
Die letzte Antwort ist hier die einzig richtige.

5 Stars.


Lonesome Walker
Bitte warten ..
Ähnliche Inhalte
Windows 10
Windows 10 Anzeigen von Accounts auf dem Anmeldebildschirm verhindern (9)

Anleitung von Mvinogradac zum Thema Windows 10 ...

Batch & Shell
gelöst Einen Teil eines Textpfades aus einer TXT per Batch entfernen!? (3)

Frage von kampen zum Thema Batch & Shell ...

Outlook & Mail
Alle Mail Adressen einer Outlookgruppe anzeigen (7)

Frage von blade999 zum Thema Outlook & Mail ...

Neue Wissensbeiträge
Batch & Shell

Batch als Dienst bei Systemstart ohne Anmeldung ausführen

(3)

Tipp von tralveller zum Thema Batch & Shell ...

Sicherheits-Tools

Sicherheitstest von Passwörtern für ganze DB-Tabellen

(1)

Tipp von gdconsult zum Thema Sicherheits-Tools ...

Peripheriegeräte

Was beachten bei der Wahl einer USV Anlage im Serverschrank

(9)

Tipp von zetboxit zum Thema Peripheriegeräte ...

Heiß diskutierte Inhalte
Exchange Server
Exchange 2016 Standard Server 2012 R2 Hetzner Mail (41)

Frage von Datsspeed zum Thema Exchange Server ...

Windows 7
gelöst Lokales Adminprofil defekt (25)

Frage von Yannosch zum Thema Windows 7 ...

Off Topic
gelöst Fachzeitschriften als E-Book oder hardcoded? (11)

Frage von KowaKowalski zum Thema Off Topic ...

Windows 10
Windows Store Apps ohne Windows Store installieren (10)

Frage von keefien zum Thema Windows 10 ...