Was ist Crawling?

Crawling (oder Spidering) ist, wenn Google oder eine andere Suchmaschine einen Bot an eine Webseite oder einen Webpost schickt und die Seite “liest”. Lassen Sie dies nicht mit der Indizierung dieser Seite verwechselt werden. Crawling ist der erste Teil, bei dem eine Suchmaschine Ihre Seite erkennt und in den Suchergebnissen anzeigt. Das Durchsuchen Ihrer Seite bedeutet jedoch nicht unbedingt, dass Ihre Seite indiziert wurde und gefunden wird.

Seiten werden aus einer Vielzahl von Gründen gecrawlt, einschließlich:

• Eine XML-Sitemap mit der betreffenden URL, die an Google übermittelt wurde.
• Interne Links, die auf die Seite verweisen.
• Externe Links haben, die auf die Seite verweisen.
• Einen Anstieg des Datenverkehrs auf die Seite bringen

Um sicherzustellen, dass Ihre Seite durchsucht wird, sollten Sie eine XML-Sitemap in die Google Search Console (früher Google Webmaster Tools) hochladen, um Google die Roadmap für alle Ihre neuen Inhalte zu geben.

In der Google Search Console können Sie sehen, was eingereicht und was indexiert wurde.

Was das Crawlen bedeutet, ist, dass Google die Seite betrachtet. Je nachdem, ob Google der Meinung ist, dass der Inhalt “neu” ist oder ob es anderweitig etwas zu “geben an das Internet” hat, kann es eine Indexierung einplanen, was bedeutet, dass es die Möglichkeit hat, ein Ranking durchzuführen.

Auch wenn Google eine Seite durchsucht, schaut es sich die Links auf dieser Seite an und plant den Google Bot so, dass er auch diese Seiten auscheckt.  Die Ausnahme ist, wenn dem Link ein nofollow-Tag hinzugefügt wurde.