Googlebot

Was ist der Googlebot?

Der Googlebot ist ein Web-Crawling-Software-Suchbot (auch bekannt als Spider oder Webcrawler), der die Webseiteninformationen sammelt, die zur Bereitstellung von Google-Suchmaschinen-Ergebnisseiten (SERP) verwendet werden.

Der Bot sammelt Dokumente aus dem Web, um den Suchindex von Google aufzubauen. Durch das ständige Sammeln von Dokumenten entdeckt die Software neue Seiten und aktualisiert bestehende Seiten. Googlebot verwendet ein verteiltes Design, das viele Computer umfasst, damit es mit dem Web wachsen kann.

Wie funktioniert der Googlebot?

Der Webcrawler verwendet Algorithmen, um festzustellen, welche Seiten durchsucht werden sollen, in welchen Frequenten die Seiten zu durchsuchen sind und von wie vielen Seiten Informationen abgerufen werden sollen. Der Googlebot beginnt mit einer Liste, die aus früheren Sitzungen generiert wurde. Diese Liste wird dann durch die Sitemaps der Webmaster ergänzt. Die Software durchsucht alle verknüpften Elemente auf den Webseiten, die sie durchsucht, und bemerkt neue Seiten, Aktualisierungen von Seiten und tote Links. Die gesammelten Informationen werden verwendet, um den Index von Google im Web zu aktualisieren.

Wie kann ich den Google-Crawler beeinflussen?

Der Bot erstellt einen Index innerhalb der Einschränkungen, die von Webmastern in ihren robots.txt-Dateien festgelegt wurden. Möchte ein Webmaster beispielsweise Seiten vor der Google-Suche versteckt halten, kann er derGooglebot in einer robots.txt-Datei im obersten Ordner der Website blockieren.

Um zu verhindern, dass Googlebot Links auf einer bestimmten Seite einer Website folgt, kann er den nofollow-Meta-Tag einfügen; um zu verhindern, dass der Bot einzelnen Links folgt, kann der Webmaster rel=”nofollow” zu den Links selbst hinzufügen.

Der Webmaster einer Website kann alle paar Sekunden die Besuche von Computern auf google.com erkennen, die den Benutzer-Agenten Googlebot anzeigen. Im Allgemeinen versucht Google, so viel wie möglich von einer Website zu indizieren, ohne die Bandbreite der Website zu überfordern. Wenn ein Webmaster feststellt, dass Googlebot zu viel Bandbreite verbraucht, kann er auf der Homepage der Suchkonsole von Google eine Rate festlegen, die 90 Tage lang gültig bleibt.