LOADING

Crawl Budget

by Jonas B Juni 03, 2019

Was ist ein Crawl Budget

Was ist ein Crawl Budget?

Das Crawl Budget ist im Grunde die Anzahl der URLs auf einer Website, die eine Suchmaschine in einem bestimmten Zeitraum crawlen kann.

Das Crawl-Budget ist dabei begrenzt, um sicherzustellen, dass der Server einer Website nicht mit zu vielen gleichzeitigen Verbindungen oder zu hohem Bedarf an Serverressourcen überlastet wird. Dies könnte sich nämlich negativ auf die Besuchererfahrung einer Website auswirken.

Jede IP Adresse hat eine maximale Anzahl von Verbindungen, die sie verarbeiten kann. Viele Websites kann man dabei auf einem gemeinsamen Server hosten. Falls sich also eine Website einen Server oder eine IP-Adresse mit mehreren anderen Webseiten teilt, kann sie ein geringeres Crawl-Budget haben als eine, die man auf einem dedizierten Server hostet.

Ebenso hat eine Website, die schnell reagiert, in der Regel ein höheres Crawl-Budget als eine Website die bei hohem Traffic langsamer reagiert. Das liegt daran, dass Webseiten die schnell reagieren auf einem Cluster von dedizierten Servern gehostet werden. Im Gegensatz dazu stehen die langsamen Verbindungen, welche man auf einem einzelnen Server hostet.

Allerdings sollte man beachten, dass nur weil eine Website schnell reagiert und über die Ressourcen verfügt, um eine hohe Crawlerate aufrechtzuerhalten, es nicht bedeutet, dass Suchmaschinen auch einen hohen Anteil dieser Ressourcen einsetzen wollen. Dieses Problem tritt dann auf, wenn der Content der Seite nicht wichtig genug erscheint.

 

Was bedeutet Crawl Rate und Crawl Limit?

Die Crawl-Rate ist definiert als die Anzahl der URLs pro Sekunde, in welcher die Suchmaschinen versuchen, eine Website zu crawlen. Dies ist normalerweise proportional zur Anzahl der aktiven HTTP-Verbindungen, die sie gleichzeitig öffnen.

Das Crawl-Limit kann man als die maximal zu erreichende Anzahl von Abrufen definieren, bei der man die User-Experience einer Website nicht beeinträchtigt.

Was ist der Crawl Bedarf?

Der Crawl-Bedarf gibt an, wie häufig eine Website von einer Suchmaschine gecrawlt werden muss. Dieser Bedarf variiert dabei von Seite zu Seite und ist von der Nachfrage einer bestimmten Website abhängig.

Die Nachfrage der Benutzer für zuvor indizierte Seiten hat Auswirkungen darauf, wie oft eine Suchmaschine diese durchsucht. Seiten mit einem hohen Traffic werden meist häufiger gecrawlt, als Seiten die selten besucht werden. Gleiches gilt für Websites die lange nicht aktualisiert wurden oder wenig Content aufweisen. Neue oder wichtige Seiten ranken in der Regel über alten Seiten, die sich nicht oft ändern.

 

Muss jede Seite das Crawl Budget beachten?

Die Verwaltung des Crawl-Budgets ist nichts, worüber man sich auf den meisten Websites Sorgen machen muss. Das liegt daran, dass Suchmaschinen Websites, die unter tausend URLs aufweisen, meist an einem Tag crawlen kann. Aufgrund dessen ist das Crawl-Budget eher für größeren Unternehmen relevant.

« Back to Glossary Index
Social Shares

Leave a Comment

Your email address will not be published. Required fields are marked *

Sie wollen mehr Besucher durch SEO?

Nutzen Sie unsere kostenlose SEO Analyse um Ihre Seite zu verbessern!
Website verbessern
close-link
Click Me