Was ist der Googlebot und wie oft crawlt er eine Seite

Der Ausdruck Googlebot wird Ihnen zwangsläufig begegnen, wenn Sie sich mit der SEO (Search Engine Optimization) für Ihre Website beschäftigen. Google ist dabei mit einem Marktanteil von über 90% die wichtigste Adresse. Entscheidend für die Indexierung Ihrer Seite bei Google ist dabei der Vorgang des sogenannten Crawlings durch die Googlebots.

Was ist der Googlebot?

Die Websites werden von Google mithilfe des Googlebots gelesen. Der Name Googlebot setzt sich aus dem Firmennamen und der technischen Bezeichnung Bot, kurz für Robot, zusammen. Eine spezielle Sorte Bots sind Webcrawler oder Searchbots, die so programmiert werden, dass sie das Internet durchsuchen und Webseiten analysieren. Google nutzt seinen Bot dazu, um Inhalte zu analysieren und auffindbar machen zu können. Zu erkennen gibt sich der Robot beispielsweise durch die User-Agent-Kennung Googlebot/2.1.

Was macht der Googlebot?

Der Googlebot besucht und crawlt Webseiten, indem er sich von Link zu Link bewegt. Alle vom Robot gefundenen Inhalte werden dabei heruntergeladen und je nach Relevanz im Googleindex abgelegt. Die Analyse durch den Googlebot bildet also einen entscheidenden Schritt für die Platzierung Ihrer Seite bei den Suchergebnissen auf Google. Neben dem Googlebot für die Websuche existieren weitere spezielle Bots. Beispielsweise Googlebot-News, Googlebot-Video oder Googlebot-Mobile für Smartphoneseiten. Wurde die Seite kürzlich von einem der Bots gecrawlt, legt er die Informationen für die anderen Crawler in einem Cache zurück.

Wie oft besucht der Googlebot eine Seite?

Wann der Googlebot wieder kommt, hängt von verschiedenen Faktoren ab. Der Bot bewegt sich anhand von Links. Deswegen sind der PageRank und die Anzahl und die Qualität der vorhandenen Backlinks entscheidend, bis der Googlebot ein erneutes Crawling der Seite unternimmt. Auch die Ladezeiten und die Struktur einer Webseite sowie die Aktualisierungsfrequenz der Inhalte spielen eine Rolle. Ein Normwert lässt sich nicht ermitteln. Eine Seite, die viele hochwertige Backlinks besitzt, kann durchaus alle 10 Sekunden vom Googlebot ausgelesen werden. Bei kleineren Seiten mit wenig Backlinks kann es auch mal einen Monat oder länger dauern, bis der Crawler zurückkehrt und die Seite wieder von Google indiziert wird.

Grundlegendes was Sie als Webseiten-Inhaber beachten sollten, damit Änderungen schneller von Google indiziert werden

Grundsätzlich sollten Sie für einen nachhaltigen Linkaufbau sorgen und Ihre Inhalte regelmäßig aktualisieren. Halten Sie diese themenrelevant und hochwertig, um regelmäßig vom Crawler besucht zu werden. Sorgen Sie für eine suchmaschinenfreundliche Struktur Ihrer Webseiten-Navigation und halten Sie die Ladezeiten durch professionelles Webdesign gering. Versuche die Auswertung des Googlebots durch simple Techniken zu manipulieren, sind heute eher erfolglos und können sogar durch ein Herabsetzen im Ranking bei Google abgestraft werden. Eine bloße Anhäufung von Keywords, die besonders den Inhalt der Website hervorheben sollen, mindere Qualität oder eine Generierung von Backlinks zur Optimierung werden durch die Programme Google Penguin und Google Panda erkannt. Google bietet Ihnen jedoch weitere Möglichkeiten, um die Häufigkeit der Abfrage durch die Googlebots zu verbessern. Diese werden hier von uns vorgestellt und können sich von Ihnen mit einiger Recherche selbst angeeignet werden.

Tipps für Ihre SEO und das Crawling durch den Googlebot

• Wenn Sie Neuerungen an Ihrer Seite vorgenommen haben, besteht die Möglichkeit, dass Sie die neue URL in der Google Search Console direkt abschicken. Auf diese Weise brauchen Sie nicht bis zum nächsten crawlen durch den Googlebot warten, sondern fordern seinen Besuch quasi selbst an.

• In der Sitemap Ihrer Website ist es möglich, die Priorität der einzelnen Unterseiten festzulegen und Ihre gewünschte Frequenz für das Crawling einzustellen. Damit können Sie angeben, welche Seiten besonders häufig aktualisiert werden. Diese werden deshalb dann auch öfter vom Googlebot analysiert. Der Startseite würde dabei zum Beispiel mit der Nummer 1, besonders hohe Priorität und vermehrtes Crawling zu kommen.
• Mit robots.txt kann der Webmaster bestimmen, welche Seiten eventuell vom Crawling durch den Googlebot ausgeschlossen werden sollen. Dies könnte der Fall sein, wenn Sie mit der Qualität einer Unterseite noch nicht zufrieden sind und diese deshalb noch nicht indexiert werden sollte.

Mit der Umsetzung dieser Tipps sorgen Sie dafür, dass Änderungen zügig in den Suchmaschinen dargestellt werden und verbessern im gleichen Schritt Ihre Position in den Suchergebnissen. Für Fragen und die professionelle Betreuung Ihres Onlinemarketings und Ihrer SEO steht Ihnen das Team der Media Company gerne zur Seite.

Thumbnail Image: Robot on the Taff von JohnGreenAway via CC BY-SA 2.0