Top-Themen

AppleEntwicklungHardwareInternetLinuxMicrosoftMultimediaNetzwerkeOff TopicSicherheitSonstige SystemeVirtualisierungWeiterbildungZusammenarbeit

Aktuelle Themen

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit

Wie findet Google neue Domains?

Frage Internet SEO

Mitglied: Codehunter

Codehunter (Level 2) - Jetzt verbinden

13.09.2010, aktualisiert 16:21 Uhr, 4365 Aufrufe, 4 Kommentare

Hallo zusammen!

Zugegeben, die Frage klingt etwas banal: Wie findet Google neue Domains? Hintergrund: Ich habe eine Domain registriert die ich nur zum Testen verschiedener Scripte verwende. Die Domain ist nirgends öffentlich verlinkt und nicht in meinen Bookmarks. Erst recht in keinen Social Networks etc. Trotzdem hat der Gockel die Site gecrawled. Nur wie kam er überhaupt an die Domain? Letztenendes muss er ja von irgendwoher gefolgt sein. Nuckelt der ständig am DeNIC-WHOIS herum? Oder wenden die eine Art Bruteforce an und probieren alle möglichen Kombinationen durch?

Mir ist das aber auch bei Subdomains aufgefallen die nirgends verlinkt sind und trotzdem irgendwann im Google-Index auftauchen. Ich habe leider nur einen normalen Shared Webspace und keinen Root-Zugang um detailliertere Logs anzuschauen. Denn wenn meine Vermutung richtig ist müßten ja ausgehend vom Googlebot derartige Ratespielchen erkennbar sein.

Irgendwie riecht das nach Verschwörung und da bin ich immer neugierig

Grüssle
Cody
Mitglied: Snowman25
13.09.2010 um 17:00 Uhr
Hallo Codehunter,

Ich habe leider nur einen normalen Shared Webspace und keinen Root-Zugang um detailliertere Logs anzuschauen.

Bei einem Shared Webspace haben die Seiten gerne auch eine 2. Adresse mit Provider-präfix. Diese Adresspools werden dann in den Log-/Statisitkseiten der Provider aufgeführt. Google verirrt sich schon gern mal auf eben diese Seiten (sind nicht sonderlich geschützt, da keine relevanten Daten preisgegeben werden) und greift dort die Links ab. So kommt der Crawler auch auf Ghost-sites.
Wenn du jetzt persönlich nach diesen Statistik-Seiten suchen möchtest: Viel Spaß! Die können unter Umständen gut versteckt sein.

Greetz
Snow
Bitte warten ..
Mitglied: AndreasHoster
13.09.2010 um 18:51 Uhr
Ansonsten könnte man in Google mal nach Seiten suchen, die auf Deine verlinken.
Eventuell gibts doch welche ...
Bitte warten ..
Mitglied: Codehunter
13.09.2010 um 21:15 Uhr
Zitat von AndreasHoster:
Ansonsten könnte man in Google mal nach Seiten suchen, die auf Deine verlinken.
Eventuell gibts doch welche ...

Da das Kind nun ja schon in den Brunnen gefallen ist habe ich das mal getan. Über die Google-Boardmittel ist da erstmal nichts zu finden. Die werden selbst in den Webmastertools nicht alle Karten aufdecken. Also bin ich mal bingen gegangen wenn das googlen schon nichts brachte. So bin ich dann tatsächlich auf eine zweite Adresse des Providers gestoßen wie von Snowman25 beschrieben. Da drin findet man aber keine direkten Verweise auf meine Geheim-Domain. Allerdings ist der Gockel so schon mal auf dem Webspace und kann crawlen. Jetzt fehlt mir aber noch das letzte Stückchen in dem Puzzle, woher Google den eigentlichen Domainnamen hat. Mann, das ist j richtiges Datamining
Bitte warten ..
Mitglied: Snowman25
14.09.2010 um 09:14 Uhr
Wenn du nicht mehr in den Sucherergebnissen der Suchmaschinen (sehr viele, aber nicht alle) auftauchen möchtest, dann kannst du ja eine entsprechende robots.txt ins root legen.
01.
User-agent: * 
02.
Disallow: /
Danach lässt du Google die Seite nochmals scannen (über die Webmastertools) und dann solltest du nicht mehr zu finden sein

Gruß
Snow
Bitte warten ..
Neuester Wissensbeitrag
Microsoft

Lizenzwiederverkauf und seine Tücken

(5)

Erfahrungsbericht von DerWoWusste zum Thema Microsoft ...

Ähnliche Inhalte
Webbrowser
Google stopft 36 Löcher in Chrome 55

Link von runasservice zum Thema Webbrowser ...

Windows 7
Wsus client findet am wsus server nicht alle updates (1)

Frage von endurance zum Thema Windows 7 ...

E-Mail
Mailinglisten mehrerer Domains

Frage von tobilektri zum Thema E-Mail ...

Erkennung und -Abwehr
Mehr als 1 Million Google Accounts von Malware Gooligan gekapert

Link von Frank zum Thema Erkennung und -Abwehr ...

Heiß diskutierte Inhalte
Windows Server
Outlook Verbindungsversuch mit Exchange (15)

Frage von xbast1x zum Thema Windows Server ...

Microsoft Office
Keine Updates für Office 2016 (13)

Frage von Motte990 zum Thema Microsoft Office ...

Grafikkarten & Monitore
Tonprobleme bei Fernseher mit angeschlossenem Laptop über HDMI (11)

Frage von Y3shix zum Thema Grafikkarten & Monitore ...