Wer hätte es gedacht, Google hat wieder ein neues Tool für Webmaster herausgebracht. Es ist zwar nicht ganz so bunt und flashig wie Google Analytics aber es hat doch so seinen Reiz. Es eignet sich in meinen Augen vor allem für die Leute, die aus Sicherheitsgründen nicht den Google Analytics Code in ihre Website einfügen wollen aber dennoch gerne mehr über ihre Website erfahren würden. Bevor ich euch jetzt aber noch weiter auf die Folter spanne verrate ich es euch:
[html]https://www.google.com/webmasters/sitemaps[/html]

Nachdem ihr euch durch das ablegen einer htm Datei als Webmaster eurer Seite verifiziert habt, gibt es nette Statistiken zu sehen. Zum einen kann man sehen wann der Googlebot das letzte mal vorbeikam, außerdem hilft einem die Url seine robots.txt zu überprüfen und für andere Bots anzupassen. Aber wie bei allem so gilt auch bei der robots.txt gibt es keinen eindeutigen Standard.
[html]User-agent: Slurp
Crwal-delay: 10[/html]
Diesen Zeilen sagen dem Bot von Yahoo das er 10 Sekunden warten soll bevor er auf die nächste Seite zugreift. Der MSN Bot verhält sich in diesem Fall genauso nur den Googlebot interessiert das nicht die Bohne.
An diesem Beispiel zeigt sich sehr schnell, dass man beim Anlegen der robots.txt doch sehr aufpassen sollte. Wer jetzt erschreckt feststellt, dass sich Seiten im Suchindex von Google finden, die dort eigentlich nicht sein sollten, kann unter:
[html]http://services.google.com/urlconsole/controller[/html]
Unliebsame Seiten herauslöschen. Dieses Tool eignet sich jedoch nicht dazu, doppelten Content im Internet zu vernichten.

Für die oben genannten URLs sollte man einen GoogleMail bzw. einen GMail Account besitzen. Wer noch keinen Acc hat, kann einfach ein Kommentar mit ensprechender Bitte hinterlasse und ich werde ihm eine Einladung schicken aber nur solange der Vorrat reicht.
Da bin ich jetzt schon gespannt ob es überhaupt noch Leute gibt, die keinen Mail Account bei Google haben.