Kommentare zu: Die Tücken der robots.txt http://www.search-lab.de/blog/google/2008/10/31/die-tucken-der-robotstxt/ Mon, 03 Jan 2011 22:11:15 +0000 hourly 1 http://wordpress.org/?v=3.1.4 Von: Peter http://www.search-lab.de/blog/google/2008/10/31/die-tucken-der-robotstxt/#comment-15735 Peter Tue, 27 Jan 2009 19:30:21 +0000 http://www.search-lab.de/blog/?p=477#comment-15735 Also ich habe es auch bei einem Webshop mit der Variante 1 hinbekommen, dass er die Sessions nicht indexiert. Also ich habe es auch bei einem Webshop mit der Variante 1 hinbekommen, dass er die Sessions nicht indexiert.

]]> Von: Lars http://www.search-lab.de/blog/google/2008/10/31/die-tucken-der-robotstxt/#comment-15595 Lars Wed, 07 Jan 2009 13:57:06 +0000 http://www.search-lab.de/blog/?p=477#comment-15595 Sehr interessantes Thema! Ich würde auch Variante 1 empfehlen. Meistens reicht der Eintrag "Disallow /*?" aus, um den gesamten dynamischen Anteil aus dem Weg zu gehen. Sehr interessantes Thema! Ich würde auch Variante 1 empfehlen. Meistens reicht der Eintrag “Disallow /*?” aus, um den gesamten dynamischen Anteil aus dem Weg zu gehen.

]]> Von: Andreas Hoffmann http://www.search-lab.de/blog/google/2008/10/31/die-tucken-der-robotstxt/#comment-15112 Andreas Hoffmann Fri, 21 Nov 2008 15:09:37 +0000 http://www.search-lab.de/blog/?p=477#comment-15112 Hi Tobias, Variante 1 müsste schon ausreichen. Der Stern vor "sessionid" ist zwingend notwendig, sofern der string nicht direkt hinter dem Root-Verzeichnis kommt. Der zweite Stern am Ende wie bei Variante 2 kann gesetzt werden, ist aber so wie der Robots Exclusion Standard fuktioniert überflüssig, es wird nicht indiziert, ob dann nun noch die Nummer folgt oder nicht. Wichtig ist nur, dass hinter sessionID kein "/" folgt, was für Session IDs allerdings auch keinen Sinn ergebe. In der Regel folgt ja der Ankündigung einer ID schließlich auch die Nummer nebst =-Zeichen ohne Verzeichnis-Trennung. Es gehen also hier beide Varianten. Hast du das schon mal mit Webmaster Tools geprüft? Hi Tobias,

Variante 1 müsste schon ausreichen. Der Stern vor “sessionid” ist zwingend notwendig, sofern der string nicht direkt hinter dem Root-Verzeichnis kommt. Der zweite Stern am Ende wie bei Variante 2 kann gesetzt werden, ist aber so wie der Robots Exclusion Standard fuktioniert überflüssig, es wird nicht indiziert, ob dann nun noch die Nummer folgt oder nicht. Wichtig ist nur, dass hinter sessionID kein “/” folgt, was für Session IDs allerdings auch keinen Sinn ergebe. In der Regel folgt ja der Ankündigung einer ID schließlich auch die Nummer nebst =-Zeichen ohne Verzeichnis-Trennung.

Es gehen also hier beide Varianten.

Hast du das schon mal mit Webmaster Tools geprüft?

]]> Von: Tobias Fox http://www.search-lab.de/blog/google/2008/10/31/die-tucken-der-robotstxt/#comment-15107 Tobias Fox Thu, 20 Nov 2008 21:34:10 +0000 http://www.search-lab.de/blog/?p=477#comment-15107 Habt Ihr Erfahrung mit der Nutzung von Wildcards in der Robots.txt am Beispiel von SessionIDs, die man nicht indexiert haben möchte. Welche Version ist richtig, falls ich alle URLs in deren String "sessionID" vorkommt disallowen möchte? Disallow: /*sessionID oder Disallow: /*sessionID* Der Teufel liegt hier im Detail mit nur einem Zeichen - welches ist also die richtige Alternative? Habt Ihr Erfahrung mit der Nutzung von Wildcards in der Robots.txt am Beispiel von SessionIDs, die man nicht indexiert haben möchte.

Welche Version ist richtig, falls ich alle URLs in deren String “sessionID” vorkommt disallowen möchte?

Disallow: /*sessionID

oder

Disallow: /*sessionID*

Der Teufel liegt hier im Detail mit nur einem Zeichen – welches ist also die richtige Alternative?

]]>