Top-Themen

Aktuelle Themen (A bis Z)

Administrator.de FeedbackApache ServerAppleAssemblerAudioAusbildungAuslandBackupBasicBatch & ShellBenchmarksBibliotheken & ToolkitsBlogsCloud-DiensteClusterCMSCPU, RAM, MainboardsCSSC und C++DatenbankenDatenschutzDebianDigitiales FernsehenDNSDrucker und ScannerDSL, VDSLE-BooksE-BusinessE-MailEntwicklungErkennung und -AbwehrExchange ServerFestplatten, SSD, RaidFirewallFlatratesGoogle AndroidGrafikGrafikkarten & MonitoreGroupwareHardwareHosting & HousingHTMLHumor (lol)Hyper-VIconsIDE & EditorenInformationsdiensteInstallationInstant MessagingInternetInternet DomäneniOSISDN & AnaloganschlüsseiTunesJavaJavaScriptKiXtartKVMLAN, WAN, WirelessLinuxLinux DesktopLinux NetzwerkLinux ToolsLinux UserverwaltungLizenzierungMac OS XMicrosoftMicrosoft OfficeMikroTik RouterOSMonitoringMultimediaMultimedia & ZubehörNetzwerkeNetzwerkgrundlagenNetzwerkmanagementNetzwerkprotokolleNotebook & ZubehörNovell NetwareOff TopicOpenOffice, LibreOfficeOutlook & MailPapierkorbPascal und DelphiPeripheriegerätePerlPHPPythonRechtliche FragenRedHat, CentOS, FedoraRouter & RoutingSambaSAN, NAS, DASSchriftartenSchulung & TrainingSEOServerServer-HardwareSicherheitSicherheits-ToolsSicherheitsgrundlagenSolarisSonstige SystemeSoziale NetzwerkeSpeicherkartenStudentenjobs & PraktikumSuche ProjektpartnerSuseSwitche und HubsTipps & TricksTK-Netze & GeräteUbuntuUMTS, EDGE & GPRSUtilitiesVB for ApplicationsVerschlüsselung & ZertifikateVideo & StreamingViren und TrojanerVirtualisierungVisual StudioVmwareVoice over IPWebbrowserWebentwicklungWeiterbildungWindows 7Windows 8Windows 10Windows InstallationWindows MobileWindows NetzwerkWindows ServerWindows SystemdateienWindows ToolsWindows UpdateWindows UserverwaltungWindows VistaWindows XPXenserverXMLZusammenarbeit
GELÖST

Im Google Webmastertools erscheing beim Test für crawling blockierte URL Meldung Zulässig für Zeile 2Disallow:

Frage Internet SEO

Mitglied: 91863

91863 (Level 2)

14.12.2013, aktualisiert 01:53 Uhr, 2675 Aufrufe, 7 Kommentare

Hallo,

meine robots.txt wird gelesen, stoppt aber scheinbar gleich. Ich habe eingetragen alles durchsuchen !

User-agent: *
Disallow:
Im Google Webmastertools erscheint dann

Zulässig für Zeile 2Disallow:
Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell unterschiedliche Einschränkungen auf.

Laut dem hier habe ich gefunden:
http://productforums.google.com/forum/#!topic/webmasters/5AzbdGJbhzA

Ich konnte aber in adneren Dateien keinn Eiintrag wie diesen finden
<meta name='robots' content='noindex,nofollow' />

Hat wer ne Idee ? ich benutze Oscommer 2.2

Gruss
Ralf


ich habe eben noch die Robots.txt angepasst, da ich vermutet habe , es gibt ein Verziechnis wo so Weiterleitungen etc.. sind.
Neu ist nun
User-agent: *
Disallow: /admin/
Disallow: /awstats/
Disallow: /bitpay/
Disallow: /boot/
Disallow: /cache/
Disallow: /cars/
Disallow: /cgi-bin/
Disallow: /etc/
Disallow: /font/
Disallow: /googlesitemap/
Disallow: /images/
Disallow: /includes/
Disallow: /pub/
Disallow: /stats/
Disallow: /tmp/
Allow: /

Sitemap: http://www.rc-thomas.ch/sitemapindex.xml

Es soll alles Spider, von , jeder Suchmaschine ausser die Verzeichniss mit Disallow. Ich hoffe das Allow: / steht hier richtig , für alles Spiderm !
Fehler in Webmastertools ist aber gleich.

Gruss
Ralf

Nun hatte ich aber
Zulässig für Zeile 17Allow: /

Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell unterschiedliche Einschränkungen auf.
Zeile 17 ist die mit Allow: /
brauche ich die ? Nun habe ich die weggelassen. Nun kommt !
Zugelassen

Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell unterschiedliche Einschränkungen auf.


So 10 Minuten später war ich nun auf einem neuen Generator.
Da sieht es so aus:
  1. Generator: http://pixelfolk.net/tools/robots
  2. Erstellt am: 14.12.2013, 01:49
  3. Webseite: http://http://www.RC-Thomas.ch

Sitemap: http://www.rc-thomas.ch/sitemapindex.xml

  1. Folgende Seiten sollen nicht indexiert werden:

User-agent: *
Disallow: /admin/
Disallow: /awstats/
Disallow: /bitpay/
Disallow: /boot/
Disallow: /cache/
Disallow: /cars/
Disallow: /cgi-bin/
Disallow: /etc/
Disallow: /font/
Disallow: /googlesitemap/
Disallow: /images/
Disallow: /includes/
Disallow: /pub/
Disallow: /stats/
Disallow: /tmp/

  1. Schließe folgende Spider komplett aus:

User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
User-agent: penthesilea
Disallow: /

Der Google Test sagt ok. Hier scannt es alle Verzeichnis von google und anderen , ausser die mit Disallow, stimmt das ? Ansonsten alles, oder ?

Gruss
Ralf


Mitglied: colinardo
14.12.2013, aktualisiert um 11:37 Uhr
Hallo Ralf,
die robots.txt wird auch Robots Exclusion Protocol genannt, also werden dort nur die Verzeichnisse eingetragen die ein Robot nicht indizieren soll, alles andere ist für den Robot freigegeben.

Beispiel 1: Allen Robots alles auf dem Server verbieten
User-agent: * 
Disallow: /
Beispiel 2: Allen Robots alles freigeben
User-agent: * 
Disallow:
Beispiel 3: Allen Robots nur bestimmte Verzeichnisse verbieten, alle anderen Verzeichnisse sind erlaubt.
User-agent: * 
Disallow: /cgi-bin/ 
Disallow: /tmp/ 
Disallow: /junk/
Dein Allow: / am Ende deiner robots.txt ist also überflüssig. Eine schöne Darstellung und weitere Beispiele dafür findest du hier.

Grüße Uwe
Bitte warten ..
Mitglied: 91863
14.12.2013 um 11:41 Uhr
Hoi,

danke Uwe. DAs bringt mich weiter. Jedoch wird mein Shop trotzdem nicht richtig gelistet. Habe nun die letzten Tage einen neuen OScommerce Shop aufgebaut und werde ihn mit neuem Namen registrieren . Der alte Shop ist auslaufend. Vielleicht wird da ja mal doch gelistet

Gruss
Ralf
Bitte warten ..
Mitglied: colinardo
14.12.2013, aktualisiert um 11:56 Uhr
Das crawling dauert immer etwas, wenn du also etwas an deinen Sitemaps änderst, kann es immer etwas dauern bis die Änderungen bei Google reflektiert werden.
Überprüfe auch mal die generierten XML-Dateien anhand der Sitemap-Referenz: https://support.google.com/webmasters/answer/183668

Du kannst deine Sitemap zusätzlich auch in der robots.txt hinterlegen:
Sitemap: http://www.rc-thomas.ch/sitemapindex.xml
siehe:https://support.google.com/webmasters/answer/183669?hl=en

Grüße Uwe
Bitte warten ..
Mitglied: 91863
14.12.2013 um 12:03 Uhr
Hallo,

ja die Sitemap wurde auch eingetragen und ist seit Tagen gecrawled. Aber bei Google kein Ergebnis.

Gruss
Ralf
Bitte warten ..
Mitglied: Mauspih
14.12.2013 um 20:00 Uhr
Hallo Ralf,

die Funktion testet deine robots.txt nur auf eventuell vorhandene Crawlingeinschränkungen - du siehst initial deine aktuell von Google bekannte robots.txt, kannst dort aber auch Eingaben hinzufügen, um die Auswirkung auf das Crawling zu testen.

Um einen Test durchzuführen, trägst du unten URLs ein, die du auf Crawling-Einschränkungen testen möchtest. In deinem Fall sagt die Meldung oben ja nur, dass die Startseite deines Shops gecrawlt werden darf. Also eigentlich ist alles ok.

Schau dir doch auch mal folgendes, kostenloses E-Book über die Webmaster Tools an: http://www.trustagents.de/unternehmen/publikationen/google-webmaster-to ...
Bitte warten ..
Mitglied: 91863
14.12.2013 um 20:13 Uhr
Ok. Das werde ich mir noch gerne anschauen.

Gruss
Ralf
Bitte warten ..
Mitglied: 91863
15.12.2013 um 11:58 Uhr
ich habe jetut me neue Domäne mit neuer OS Commerce Technik ausfgeschalten, und Shop war 10 Minuten später gelistet.
Eventuell kaufe ich aber trotzdem noch ein Webshop.
Der Oscommerce ist mir zuviel gebastel. Jetzt fehlt noch Amazon.de Anbindung etc..
Nach jedem Plugin laufen die meist nicht gut.

Fazit. Neue Shoptechnik , und Listing kein Problem !!

Gruss
Ralf
Bitte warten ..
Ähnliche Inhalte
Netzwerkmanagement
Welche URLs für Google Play?
Frage von DexthaNetzwerkmanagement3 Kommentare

Hallo, ich möchte auf unserem Proxy Freigaben für Google Play Store machen. In den Proxy-Logs finde ich aber immer ...

Internet
Google Maps URL-Parameter, Zoom funktioniert nicht, Seitenliches Steuerfeld ausblenden
Frage von Thomas91Internet8 Kommentare

Hallo Community, ich benötige Hilfe bei Google Maps mit URL-Parametern. Folgende Punkte sollen erfüllt sein: - Örtlichkeit mit Koordinaten ...

Entwicklung
Google Bildersuche mit Bild-Upload per Skript benutzen und URLs auslesen
gelöst Frage von Jens4everEntwicklung3 Kommentare

Moin zusammen, folgende Situation: Wie könnte man Bilder in einem Ordner nach und nach automatisiert per Sktipt zu Google ...

Blogs
Problem dabei, meinem Blog eine eigene URL zu verpassen (Vorgehensweise wie von Google empfohlen befolgt)
gelöst Frage von DunkelHutBlogs4 Kommentare

Ich möchte meinen Blog xyz.blogspot.de unter meiner Domain www.xyz.de aufrufen. Eine direkte URL-Weiterleitung möchte ich nicht, eine verdeckte URL-Weiterleitung ...

Neue Wissensbeiträge
Erkennung und -Abwehr

Necur-Botnet soll Erpressungstrojaner Scarab massenhaft verbreiten

Information von BassFishFox vor 13 StundenErkennung und -Abwehr

12,5 Millionen Spam-Mails aus einem Bot-Netz mit 6 Millionen Computern? Eigentlich eine schwache Leistung. Die Erpresser setzen dabei auf ...

Microsoft

Nadeldrucker-Problem unter Windows - Microsoft liefert Updates

Information von BassFishFox vor 14 StundenMicrosoft

Hat ja nicht lange gedauert. Nachdem die November-Updates für Windows 7, 8.1 und 10 zahlreiche Nadeldrucker lahmgelegt hatten, stellt ...

Linux

Limux-Ende in München: Wie ein Linux Projekt unter Ausschluss der Öffentlichkeit zerstört wurde

Information von Frank vor 21 StundenLinux14 Kommentare

Mein persönlicher Kommentar zum Thema "Limux-Ende". Die SPD-Politikerin Anne Hübner hat die Richtung von München ganz klar definiert: "Wir ...

Batch & Shell

Open Object Rexx: Eine mittlerweile fast vergessene Skriptsprache aus dem Mainframebereich

Information von Penny.Cilin vor 1 TagBatch & Shell9 Kommentare

Ich kann mich noch sehr gut an diese Skriptsprache erinnern und nutze diese auch heute ab und an noch. ...

Heiß diskutierte Inhalte
Windows Server
Kann man im KMS nachschauen , wieviele Clients den Key in Anspruch genommen haben
gelöst Frage von rainergugusWindows Server15 Kommentare

Hallo, wir haben einen KMS Windows 10 Key. Dieser ist ja W7 kompatibel. Aber unser Windows 7 Pool registriert ...

Linux
Limux-Ende in München: Wie ein Linux Projekt unter Ausschluss der Öffentlichkeit zerstört wurde
Information von FrankLinux14 Kommentare

Mein persönlicher Kommentar zum Thema "Limux-Ende". Die SPD-Politikerin Anne Hübner hat die Richtung von München ganz klar definiert: "Wir ...

Router & Routing
Zwei Netzwerke erstellen
Frage von bunteblumeRouter & Routing14 Kommentare

Hallo Zusammen, Ich möchte gerne ein backup von einem bestimmten Folder welcher auf dem Server regelmässig synchronisiert wird auf ...

Windows 10
Alle Programme mit bestimmtem Namen automatisch (per GPO) deinstallieren
gelöst Frage von lordofremixesWindows 1012 Kommentare

Hallo zusammen, gibt es eine Möglichkeit, alle Programme beginnend mit z.B. "Dell" im Namen per Script und somit per ...