Was ist Crawl-Budget?

« Back to Glossary Index

Das Crawl-Budget ist die Anzahl der URLs einer Website, die eine Suchmaschine in einem bestimmten Zeitraum crawlen wird, und ist eine Funktion der Crawl-Rate und der Crawl-Nachfrage.

Warum ist das Crawl-Budget begrenzt?

Das Crawl-Budget wird begrenzt, um sicherzustellen, dass der Server einer Website nicht durch zu viele gleichzeitige Verbindungen oder eine zu große Nachfrage nach Serverressourcen überlastet wird, was sich negativ auf die Besucher der Website auswirken könnte.

Jeder IP hat eine maximale Anzahl von Verbindungen, die er verarbeiten kann. Viele Websites können auf einem gemeinsam genutzten Server gehostet werden. Wenn eine Website also einen Server oder eine IP mit mehreren anderen Websites teilt, kann sie ein geringeres Crawl-Budget haben als eine Website, die auf einem dedizierten Server gehostet wird.

Ebenso hat eine Website, die auf einem Cluster von dedizierten Servern gehostet wird und schnell reagiert, in der Regel ein höheres Crawl-Budget als eine Website, die auf einem einzelnen Server gehostet wird und bei hohem Traffic langsamer reagiert.

Nur weil eine Website schnell reagiert und über die nötigen Ressourcen für eine hohe Crawl-Rate verfügt, bedeutet das nicht, dass die Suchmaschinen einen großen Teil ihrer eigenen Ressourcen einsetzen wollen, wenn der Inhalt nicht als wichtig genug erachtet wird.

Was sind Crawl-Rate und Crawl-Rate-Limit?

Die Crawl-Rate ist definiert als die Anzahl der URLs pro Sekunde, die die Suchmaschinen versuchen, eine Website zu crawlen. Sie ist normalerweise proportional zu der Anzahl der aktiven HTTP-Verbindungen, die sie gleichzeitig öffnen wollen.

Die Obergrenze der Crawl-Rate kann als das Maximum definiert werden, das erreicht werden kann, ohne die Besucher/innen einer Website zu beeinträchtigen.

Es gibt eine Reihe von Faktoren, die Schwankungen in der Crawl-Rate verursachen können. Dazu gehören:

  • Crawl-Gesundheit – Bei schneller reagierenden Websites kann sich die Crawl-Rate erhöhen, während sie bei langsameren Websites sinken kann.
  • Begrenze die Crawl-Rate deiner Website in der Google Search Console, indem du in den Einstellungen zum Abschnitt Crawl-Rate navigierst.

Was ist Crawl-Bedarf?

Zusätzlich zu den Crawl Health und Crawl Rate Limits, die vom Webmaster festgelegt wurden, variiert die Crawl Rate von Seite zu Seite, je nach Nachfrage nach einer bestimmten Seite.

Die Nachfrage von Nutzern nach bereits indizierten Seiten beeinflusst, wie oft eine Suchmaschine diese Seiten crawlt. Seiten, die beliebter sind, werden wahrscheinlich häufiger gecrawlt als Seiten, die selten besucht werden oder die nicht aktualisiert werden oder wenig Wert haben. Neue oder wichtige Seiten werden normalerweise gegenüber alten Seiten, die sich nicht oft ändern, bevorzugt.

« Back to Glossary Index

Mit Spitzenpositionen zum neuen Umsatzkanal.

Lass Google für Dich arbeiten, denn aus Besuchern werden Kunden.

Über den Autor

Dein kostenfreies Geschenk!

Das SEO Praxisbuch
2022

Du willst mehr Besucher und bessere Google Rankings?

Lad dir jetzt kostenlos das SEO Praxisbuch
“Die 7 SEO Sünden” herunter.