Crawling

Was ist Crawling?

Crawling (oder Spidering) ist, wenn Google oder eine andere Suchmaschine einen Bot an eine Webseite oder einen Webpost schickt und die Seite “liest”. Lassen Sie dies nicht mit der Indizierung dieser Seite verwechselt werden. Crawling ist der erste Teil, bei dem eine Suchmaschine Ihre Seite erkennt und in den Suchergebnissen anzeigt. Das Durchsuchen Ihrer Seite bedeutet jedoch nicht unbedingt, dass Ihre Seite indiziert wurde und gefunden wird.

Seiten werden aus einer Vielzahl von Gründen gecrawlt, einschließlich:

• Eine XML-Sitemap mit der betreffenden URL, die an Google übermittelt wurde.
• Interne Links, die auf die Seite verweisen.
• Externe Links haben, die auf die Seite verweisen.
• Einen Anstieg des Datenverkehrs auf die Seite bringen

Um sicherzustellen, dass Ihre Seite durchsucht wird, sollten Sie eine XML-Sitemap in die Google Search Console (früher Google Webmaster Tools) hochladen, um Google die Roadmap für alle Ihre neuen Inhalte zu geben.

In der Google Search Console können Sie sehen, was eingereicht und was indexiert wurde.

Was das Crawlen bedeutet, ist, dass Google die Seite betrachtet. Je nachdem, ob Google der Meinung ist, dass der Inhalt “neu” ist oder ob es anderweitig etwas zu “geben an das Internet” hat, kann es eine Indexierung einplanen, was bedeutet, dass es die Möglichkeit hat, ein Ranking durchzuführen.

Auch wenn Google eine Seite durchsucht, schaut es sich die Links auf dieser Seite an und plant den Google Bot so, dass er auch diese Seiten auscheckt.  Die Ausnahme ist, wenn dem Link ein nofollow-Tag hinzugefügt wurde.

Wie kann ich die Crawlbarkeit meiner Website verbessern?

Stell dir die Crawler von Google als kleine Spinnenroboter vor, die in deine Website “einkriechen” und sich umsehen. Je einfacher du es diesen kleinen Kerlchen machst, desto besser für dich. Hier sind ein paar Tipps, um deine Website für die Google-Spinnen so einladend wie möglich zu gestalten.

1. XML-Sitemap

Zuerst brauchst du eine gute Karte deines Hauses, also deiner Website. Eine XML-Sitemap zeigt Google genau, welche Seiten du hast und wie sie zusammenhängen. Das ist so, als würdest du deinem Besucher eine Karte deines Riesenlabyrinths geben, damit er sich nicht verläuft.

2. Flache Hierarchie

Versuch, die Struktur deiner Website möglichst einfach zu halten. Keine tief verschachtelten Seiten, die man nur nach sieben Klicks erreicht. Das wäre so, als würdest du jemanden durch sieben verschiedene Türen schicken, nur um das Badezimmer zu finden.

3. Schnelle Ladezeiten

Niemand wartet gerne. Auch Google nicht. Optimierte Bilder, minimiertes CSS und JavaScript können die Ladezeiten deiner Website beschleunigen. Das ist wie in einem guten Restaurant, wo die Bedienung super flott ist. Du willst ja nicht, dass die Gäste gehen, weil der Kaffee zu lange braucht.

4. Responsives Design

Deine Seite sollte auf allen Geräten gut aussehen und einfach zu bedienen sein. Die Google-Spinnen checken auch, wie mobilfreundlich deine Seite ist. Stell dir vor, dein Haus hat auch eine Miniatur-Version für kleine Gäste. Sie sollten sich genauso wohl fühlen wie die “normalgroßen” Besucher.

5. Interne Verlinkung

Sorg für kluge interne Links, die den Crawlern den Weg durch deine Website weisen. Aber Vorsicht vor Endlosschleifen oder “Broken Links”. Das wäre, als würde eine Tür in deinem Haus ins Leere führen oder im Kreis gehen.

6. Robots.txt

Mit einer Robots.txt-Datei kannst du den Crawlern sagen, welche Bereiche sie meiden sollen. Das ist wie ein “Bitte nicht stören”-Schild an der Tür deines privaten Zimmers.

7. Fehlerseiten vermeiden

404-Fehlerseiten sind für Crawler wie Sackgassen. Versuch also, diese Fehler zu minimieren oder durch 301-Weiterleitungen zu ersetzen. Das ist, als würdest du eine Umleitung einrichten, wenn die Hauptstraße gesperrt ist.

Typische Fehler, die du vermeiden solltest:

Bevor du den roten Teppich für die Google-Crawler ausrollst, lass uns kurz über die Stolperfallen sprechen, die du besser vermeiden solltest.

1. Verstopfte Robots.txt

Deine Robots.txt ist wie der Türsteher deines Clubs. Wenn der zu strikt ist, kommt keiner mehr rein. Also, überprüf deine Robots.txt und stell sicher, dass du nicht aus Versehen wichtige Bereiche deiner Website blockierst.

2. Zu viele 404-Fehler

Stell dir vor, du lädst Gäste zu dir nach Hause ein, und die Hälfte der Türen ist verschlossen oder führt ins Nichts. Nicht cool, oder? Zu viele 404-Fehler können die Crawler irritieren und deine Crawl-Budget verschwenden.

3. Schlechte interne Verlinkung

Das ist, als würdest du in einem Irrgarten ohne Wegweiser stecken. Die Crawler brauchen eine klare Struktur, um sich zurechtzufinden. Verlink also relevante Seiten untereinander, aber übertreib’s nicht.

4. Langsame Ladezeiten

Langsame Websites sind wie Restaurants, in denen das Essen ewig braucht. Am Ende verliert man die Geduld. Google auch. Also, optimiere die Ladezeiten, wo immer es geht.

5. Endlose URLs und Parameter

Stell dir eine URL wie eine Straßenadresse vor. Wenn die Adresse ewig lang und voller komischer Zeichen ist, wird es schwierig, sie zu finden. Halte die URLs sauber und einfach.

6. Cloaking

Cloaking ist wie eine Falle – du zeigst den Crawlern einen Inhalt und den Usern einen anderen. Google hasst das und du könntest dafür bestraft werden. Also, einfach lassen.

7. Doppelte Inhalte

Das ist, als würdest du dasselbe Gemälde in jedem Raum deines Hauses aufhängen. Google weiß dann nicht, welches das “Original” ist und könnte alle Versionen abwerten.

8. Schlechte Mobile-Optimierung

Wenn deine Seite auf dem Handy schlecht aussieht oder langsam lädt, ist das wie ein Restaurant, das keinen Platz für Kinderwagen hat. Google will das beste Erlebnis für alle Nutzer, also optimiere für mobile Geräte.

Fazit:

Crawlbarkeit ist wie die Gastfreundschaft in einem Hotel. Du willst, dass sich deine Gäste (und die Google-Crawler) wohl fühlen, den Weg finden und gerne wiederkommen. Mach es ihnen einfach, und du wirst in den Suchergebnissen belohnt.