{"id":3768,"date":"2019-04-26T09:58:12","date_gmt":"2019-04-26T07:58:12","guid":{"rendered":"https:\/\/wolf-of-seo.de\/?post_type=glossary&#038;p=3768"},"modified":"2023-09-29T07:38:22","modified_gmt":"2023-09-29T05:38:22","slug":"crawling","status":"publish","type":"glossary","link":"https:\/\/wolf-of-seo.de\/en\/what-is\/crawling","title":{"rendered":"Crawling"},"content":{"rendered":"<div class=\"wp-block-image is-style-default\">\n<figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/wolf-of-seo.de\/wp-content\/uploads\/2019\/06\/Was-ist-1-1.png\" alt=\"Was ist Crawling\" class=\"wp-image-5054\"\/><\/figure>\n<\/div>\n\n\n<h2 class=\"wp-block-heading\" id=\"h-was-ist-crawling\"><strong>Was ist Crawling?<\/strong><\/h2>\n\n\n\n<p><span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">Crawling<\/span> (oder Spidering) ist, wenn Google oder eine andere <span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">Suchmaschine<\/span> einen Bot an eine Webseite oder einen Webpost schickt und die Seite &#x201E;liest&#x201C;. Lassen Sie dies nicht mit der Indizierung dieser Seite verwechselt werden. <span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">Crawling<\/span> ist der erste Teil, bei dem eine <span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">Suchmaschine<\/span> Ihre Seite erkennt und in den Suchergebnissen anzeigt. Das Durchsuchen Ihrer Seite bedeutet jedoch nicht unbedingt, dass Ihre Seite indiziert wurde und gefunden wird.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-seiten-werden-aus-einer-vielzahl-von-grunden-gecrawlt-einschliesslich\"><strong>Seiten werden aus einer Vielzahl von Gr&#xFC;nden gecrawlt, einschlie&#xDF;lich:<\/strong><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Eine XML-<span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">Sitemap<\/span> mit der betreffenden <span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">URL<\/span>, die an Google &#xFC;bermittelt wurde.<\/li>\n\n\n\n<li>Interne Links, die auf die Seite verweisen.<\/li>\n\n\n\n<li>Externe Links haben, die auf die Seite verweisen.<\/li>\n\n\n\n<li>Einen Anstieg des Datenverkehrs auf die Seite bringen<\/li>\n<\/ul>\n\n\n\n<p>Um sicherzustellen, dass Ihre Seite durchsucht wird, sollten Sie eine XML-<span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">Sitemap<\/span> in die Google Search Console (fr&#xFC;her Google <span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">Webmaster<\/span> Tools) hochladen, um Google die Roadmap f&#xFC;r alle Ihre neuen Inhalte zu geben.<\/p>\n\n\n\n<p>In der Google Search Console k&#xF6;nnen Sie sehen, was eingereicht und was <span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">indexiert<\/span> wurde.<\/p>\n\n\n\n<p>Was das Crawlen bedeutet, ist, dass Google die Seite betrachtet. Je nachdem, ob Google der Meinung ist, dass der Inhalt &#x201E;neu&#x201C; ist oder ob es anderweitig etwas zu &#x201E;geben an das Internet&#x201C; hat, kann es eine Indexierung einplanen, was bedeutet, dass es die M&#xF6;glichkeit hat, ein <span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">Ranking<\/span> durchzuf&#xFC;hren.<\/p>\n\n\n\n<p>Auch wenn Google eine Seite durchsucht, schaut es sich die Links auf dieser Seite an und plant den Google Bot so, dass er auch diese Seiten auscheckt.<span class=\"Apple-converted-space\">&#xA0; <\/span>Die Ausnahme ist, wenn dem Link ein nofollow-Tag hinzugef&#xFC;gt wurde.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-wie-kann-ich-die-crawlbarkeit-meiner-website-verbessern\"><strong>Wie kann ich die Crawlbarkeit meiner Website verbessern?<\/strong><\/h2>\n\n\n\n<p>Stell dir die Crawler von Google als kleine Spinnenroboter vor, die in deine Website &#x201E;einkriechen&#x201C; und sich umsehen. Je einfacher du es diesen kleinen Kerlchen machst, desto besser f&#xFC;r dich. Hier sind ein paar Tipps, um deine Website f&#xFC;r die Google-Spinnen so einladend wie m&#xF6;glich zu gestalten.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">1. XML-Sitemap<\/h3>\n\n\n\n<p>Zuerst brauchst du eine gute Karte deines Hauses, also deiner Website. Eine XML-<span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">Sitemap<\/span> zeigt Google genau, welche Seiten du hast und wie sie zusammenh&#xE4;ngen. Das ist so, als w&#xFC;rdest du deinem Besucher eine Karte deines Riesenlabyrinths geben, damit er sich nicht verl&#xE4;uft.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">2. Flache Hierarchie<\/h3>\n\n\n\n<p>Versuch, die Struktur deiner Website m&#xF6;glichst einfach zu halten. Keine tief verschachtelten Seiten, die man nur nach sieben Klicks erreicht. Das w&#xE4;re so, als w&#xFC;rdest du jemanden durch sieben verschiedene T&#xFC;ren schicken, nur um das Badezimmer zu finden.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">3. Schnelle Ladezeiten<\/h3>\n\n\n\n<p>Niemand wartet gerne. Auch Google nicht. Optimierte Bilder, minimiertes CSS und <span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">JavaScript<\/span> k&#xF6;nnen die Ladezeiten deiner Website beschleunigen. Das ist wie in einem guten Restaurant, wo die Bedienung super flott ist. Du willst ja nicht, dass die G&#xE4;ste gehen, weil der Kaffee zu lange braucht.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">4. Responsives Design<\/h3>\n\n\n\n<p>Deine Seite sollte auf allen Ger&#xE4;ten gut aussehen und einfach zu bedienen sein. Die Google-Spinnen checken auch, wie mobilfreundlich deine Seite ist. Stell dir vor, dein Haus hat auch eine Miniatur-Version f&#xFC;r kleine G&#xE4;ste. Sie sollten sich genauso wohl f&#xFC;hlen wie die &#x201E;normalgro&#xDF;en&#x201C; Besucher.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">5. Interne Verlinkung<\/h3>\n\n\n\n<p>Sorg f&#xFC;r kluge interne Links, die den Crawlern den Weg durch deine Website weisen. Aber Vorsicht vor Endlosschleifen oder &#x201E;<span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">Broken Links<\/span>&#x201C;. Das w&#xE4;re, als w&#xFC;rde eine T&#xFC;r in deinem Haus ins Leere f&#xFC;hren oder im Kreis gehen.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">6. Robots.txt<\/h3>\n\n\n\n<p>Mit einer Robots.txt-Datei kannst du den Crawlern sagen, welche Bereiche sie meiden sollen. Das ist wie ein &#x201E;Bitte nicht st&#xF6;ren&#x201C;-Schild an der T&#xFC;r deines privaten Zimmers.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">7. Fehlerseiten vermeiden<\/h3>\n\n\n\n<p>404-Fehlerseiten sind f&#xFC;r Crawler wie Sackgassen. Versuch also, diese Fehler zu minimieren oder durch 301-Weiterleitungen zu ersetzen. Das ist, als w&#xFC;rdest du eine Umleitung einrichten, wenn die Hauptstra&#xDF;e gesperrt ist.<\/p>\n\n\n\n<p><\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-typische-fehler-die-du-vermeiden-solltest\">Typische Fehler, die du vermeiden solltest:<\/h2>\n\n\n\n<p>Bevor du den roten Teppich f&#xFC;r die Google-Crawler ausrollst, lass uns kurz &#xFC;ber die Stolperfallen sprechen, die du besser vermeiden solltest.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">1. Verstopfte Robots.txt<\/h3>\n\n\n\n<p>Deine Robots.txt ist wie der T&#xFC;rsteher deines Clubs. Wenn der zu strikt ist, kommt keiner mehr rein. Also, &#xFC;berpr&#xFC;f deine Robots.txt und stell sicher, dass du nicht aus Versehen wichtige Bereiche deiner Website blockierst.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">2. Zu viele 404-Fehler<\/h3>\n\n\n\n<p>Stell dir vor, du l&#xE4;dst G&#xE4;ste zu dir nach Hause ein, und die H&#xE4;lfte der T&#xFC;ren ist verschlossen oder f&#xFC;hrt ins Nichts. Nicht cool, oder? Zu viele 404-Fehler k&#xF6;nnen die Crawler irritieren und deine Crawl-Budget verschwenden.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">3. Schlechte interne Verlinkung<\/h3>\n\n\n\n<p>Das ist, als w&#xFC;rdest du in einem Irrgarten ohne Wegweiser stecken. Die Crawler brauchen eine klare Struktur, um sich zurechtzufinden. Verlink also relevante Seiten untereinander, aber &#xFC;bertreib&#x2019;s nicht.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">4. Langsame Ladezeiten<\/h3>\n\n\n\n<p>Langsame Websites sind wie Restaurants, in denen das Essen ewig braucht. Am Ende verliert man die Geduld. Google auch. Also, optimiere die Ladezeiten, wo immer es geht.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">5. Endlose URLs und Parameter<\/h3>\n\n\n\n<p>Stell dir eine <span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">URL<\/span> wie eine Stra&#xDF;enadresse vor. Wenn die Adresse ewig lang und voller komischer Zeichen ist, wird es schwierig, sie zu finden. Halte die URLs sauber und einfach.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">6. Cloaking<\/h3>\n\n\n\n<p>Cloaking ist wie eine Falle &#x2013; du zeigst den Crawlern einen Inhalt und den Usern einen anderen. Google hasst das und du k&#xF6;nntest daf&#xFC;r bestraft werden. Also, einfach lassen.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">7. Doppelte Inhalte<\/h3>\n\n\n\n<p>Das ist, als w&#xFC;rdest du dasselbe Gem&#xE4;lde in jedem Raum deines Hauses aufh&#xE4;ngen. Google wei&#xDF; dann nicht, welches das &#x201E;Original&#x201C; ist und k&#xF6;nnte alle Versionen abwerten.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">8. Schlechte Mobile-Optimierung<\/h3>\n\n\n\n<p>Wenn deine Seite auf dem Handy schlecht aussieht oder langsam l&#xE4;dt, ist das wie ein Restaurant, das keinen Platz f&#xFC;r Kinderwagen hat. Google will das beste Erlebnis f&#xFC;r alle Nutzer, also optimiere f&#xFC;r mobile Ger&#xE4;te.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Fazit:<\/h3>\n\n\n\n<p>Crawlbarkeit ist wie die Gastfreundschaft in einem Hotel. Du willst, dass sich deine G&#xE4;ste (und die Google-Crawler) wohl f&#xFC;hlen, den Weg finden und gerne wiederkommen. Mach es ihnen einfach, und du wirst in den Suchergebnissen belohnt.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Was ist <span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\"><span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">Crawling<\/span><\/span>? <span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\"><span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">Crawling<\/span><\/span> (oder Spidering) ist, wenn Google oder eine andere <span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\"><span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">Suchmaschine<\/span><\/span> einen Bot an eine Webseite oder einen Webpost schickt und die Seite &#x201E;liest&#x201C;. Lassen Sie dies nicht mit der Indizierung dieser Seite verwechselt werden. <span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\"><span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">Crawling<\/span><\/span> ist der erste Teil, bei dem eine <span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\"><span class=\"\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">Suchmaschine<\/span><\/span> Ihre Seite erkennt und in den Suchergebnissen anzeigt. Das [&#x2026;]<\/p>\n","protected":false},"author":3,"featured_media":0,"menu_order":0,"template":"","meta":{"_acf_changed":false,"footnotes":""},"class_list":["post-3768","glossary","type-glossary","status-publish","hentry"],"acf":{"show_faq":true,"faq_q_1":"Was ist SEO-Crawling?","faq_antwort_1":"SEO-Crawling ist der Prozess des Durchsuchens und Erfassens von Websites mit Hilfe von Suchmaschinen-Crawldern. Der Crawler liest den Inhalt einer Website und analysiert ihn, um ihn Suchmaschinen besser verstehen zu lassen. SEO-Crawling ist ein wesentlicher Bestandteil der Suchmaschinenoptimierung, da es Suchmaschinen erm\u00f6glicht, den relevanten Inhalt auf einer Website zu identifizieren und zu indexieren.","faq_q_2":"Warum sollte man SEO-Crawling betreiben?","faq_antwort_2":"SEO-Crawling ist ein wesentlicher Bestandteil der Suchmaschinenoptimierung. Suchmaschinen-Crawler helfen dabei, Websites zu indexieren und ihren relevanten Inhalt zu identifizieren. Dadurch k\u00f6nnen Websites bessere Suchmaschinenrankings erzielen, mehr Sichtbarkeit und Traffic generieren und mehr Umsatz generieren. Dar\u00fcber hinaus kann das SEO-Crawling auch helfen, potenziell problematische Elemente auf einer Website zu erkennen, wie z.B. Duplizierter Inhalt oder technische Probleme.","faq_q_3":"Welche Arten von Crawlers gibt es?","faq_antwort_3":"Es gibt grunds\u00e4tzlich zwei Arten von Crawlers: Suchmaschinen-Crawler und Nutzer-Crawler. Suchmaschinen-Crawler sind speziell daf\u00fcr konzipiert, Websites zu durchsuchen und relevanten Inhalt zu identifizieren. Nutzer-Crawler werden h\u00e4ufig verwendet, um Daten f\u00fcr Webanalyse und Reporting zu sammeln.","faq_q_4":"Wie funktioniert SEO-Crawling?","faq_antwort_4":"SEO-Crawling beginnt mit dem Abruf einer URL von einer Website, die dann analysiert wird. Der Crawler folgt Links auf der Seite und stellt weitere Anfragen f\u00fcr jede URL, die er findet. Der Crawler speichert dann den Inhalt, den er erfasst, und sendet ihn an die Suchmaschine, damit er indexiert werden kann.","faq_q_5":"Wie lange dauert es f\u00fcr einen Crawler, eine Website zu crawlen?","faq_antwort_5":"Die Dauer des Crawl-Vorgangs h\u00e4ngt von der Gr\u00f6\u00dfe der Website und der Anzahl der Links ab, die der Crawler abrufen muss. Eine kleine Website mit wenigen Links kann innerhalb weniger Minuten gecrawlt werden, w\u00e4hrend eine gr\u00f6\u00dfere Website mit vielen Links mehrere Stunden dauern kann.","faq_q_6":"Wie kann man einen eigenen Crawler erstellen?","faq_antwort_6":"Es gibt verschiedene Wege, einen eigenen Crawler zu erstellen. Einige Websites bieten Crawler-Tools, die es dem Benutzer erm\u00f6glichen, einfach seine eigenen Crawler zu erstellen. Es gibt auch viele Open-Source-Tools, die es erm\u00f6glichen, eigenst\u00e4ndig einen Crawler zu erstellen. Es ist jedoch ratsam, einen Experten zur Erstellung eines professionellen Crawlers zu beauftragen, da die korrekte Programmierung eines Crawlers spezielle Kenntnisse erfordert.","faq_q_7":"Was sind deren Vorteile von SEO-Crawling?","faq_antwort_7":"SEO-Crawling ist eine wesentliche Komponente der Suchmaschinenoptimierung. Es erm\u00f6glicht es Suchmaschinen, den relevanten Inhalt einer Website zu identifizieren und zu indexieren. Es hilft Websites, bessere Suchmaschinenrankings zu erzielen, mehr Sichtbarkeit und Traffic zu generieren und mehr Umsatz zu erzielen. Dar\u00fcber hinaus kann das Crawlen auch potenziell problematische Elemente auf einer Website aufdecken, wie z.B. Duplizierter Inhalt oder technische Probleme.","faq_q_8":"Gibt es Nachteile von SEO-Crawling?","faq_antwort_8":"Einige Nachteile von SEO-Crawling sind, dass es ein langsamer Prozess ist, der viel Zeit in Anspruch nimmt. Dar\u00fcber hinaus sind die Kosten f\u00fcr die Erstellung und Entwicklung eines professionellen Crawlers oft hoch. SEO-Crawling kann auch zu einer h\u00f6heren Serverlast f\u00fchren, da der Crawler m\u00f6glicherweise viele Anfragen an den Server sendet.","faq_q_9":"K\u00f6nnen SEO-Crawler Websites besch\u00e4digen?","faq_antwort_9":"Nein, SEO-Crawler besch\u00e4digen Websites nicht. SEO-Crawler sind speziell daf\u00fcr konzipiert, Websites zu durchsuchen und relevanten Inhalt zu erfassen. Da sie keine \u00c4nderungen an der Website vornehmen, besch\u00e4digen sie die Website nicht.","faq_q_10":" Welche Tools k\u00f6nnen verwendet werden, um SEO-Crawling zu betreiben?","faq_antwort_10":"Es gibt viele verschiedene Tools, die verwendet werden k\u00f6nnen, um SEO-Crawling zu betreiben. Einige der beliebtesten Tools sind Google Search Console, Screaming Frog SEO Spider, DeepCrawl, Serpstat und Majestic SEO. Diese Tools bieten Benutzern verschiedene Funktionen, mit denen sie den SEO-Crawling-Prozess einfacher machen k\u00f6nnen."},"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v26.4 (Yoast SEO v27.4) - https:\/\/yoast.com\/product\/yoast-seo-premium-wordpress\/ -->\n<title>Was ist Crawling? | Crawling-Tipps &amp; Fehler vermeiden<\/title>\n<meta name=\"description\" content=\"Crawling (oder Spidering) ist, wenn Google oder eine andere Suchmaschine einen Bot an eine Webseite schickt und die Seite &quot;liest&quot;.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/wolf-of-seo.de\/en\/what-is\/crawling\/\" \/>\n<meta property=\"og:locale\" content=\"en_US\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Crawling\" \/>\n<meta property=\"og:description\" content=\"Crawling (oder Spidering) ist, wenn Google oder eine andere Suchmaschine einen Bot an eine Webseite schickt und die Seite &quot;liest&quot;.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/wolf-of-seo.de\/en\/what-is\/crawling\/\" \/>\n<meta property=\"og:site_name\" content=\"WOLF OF SEO\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/wolf.of.seo.ns\" \/>\n<meta property=\"article:modified_time\" content=\"2023-09-29T05:38:22+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/wolf-of-seo.de\/wp-content\/uploads\/2019\/06\/Was-ist-1-1.png\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:site\" content=\"@wolf_of_seo\" \/>\n<meta name=\"twitter:label1\" content=\"Est. reading time\" \/>\n\t<meta name=\"twitter:data1\" content=\"6 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/wolf-of-seo.de\\\/en\\\/what-is\\\/crawling\\\/\",\"url\":\"https:\\\/\\\/wolf-of-seo.de\\\/en\\\/what-is\\\/crawling\\\/\",\"name\":\"Was ist Crawling? | Crawling-Tipps & Fehler vermeiden\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/wolf-of-seo.de\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/wolf-of-seo.de\\\/en\\\/what-is\\\/crawling\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/wolf-of-seo.de\\\/en\\\/what-is\\\/crawling\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/wolf-of-seo.de\\\/wp-content\\\/uploads\\\/2019\\\/06\\\/Was-ist-1-1.png\",\"datePublished\":\"2019-04-26T07:58:12+00:00\",\"dateModified\":\"2023-09-29T05:38:22+00:00\",\"description\":\"Crawling (oder Spidering) ist, wenn Google oder eine andere Suchmaschine einen Bot an eine Webseite schickt und die Seite \\\"liest\\\".\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/wolf-of-seo.de\\\/en\\\/what-is\\\/crawling\\\/#breadcrumb\"},\"inLanguage\":\"en-US\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/wolf-of-seo.de\\\/en\\\/what-is\\\/crawling\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"en-US\",\"@id\":\"https:\\\/\\\/wolf-of-seo.de\\\/en\\\/what-is\\\/crawling\\\/#primaryimage\",\"url\":\"https:\\\/\\\/wolf-of-seo.de\\\/wp-content\\\/uploads\\\/2019\\\/06\\\/Was-ist-1-1.png\",\"contentUrl\":\"https:\\\/\\\/wolf-of-seo.de\\\/wp-content\\\/uploads\\\/2019\\\/06\\\/Was-ist-1-1.png\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/wolf-of-seo.de\\\/en\\\/what-is\\\/crawling\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/wolf-of-seo.de\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Crawling\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/wolf-of-seo.de\\\/#website\",\"url\":\"https:\\\/\\\/wolf-of-seo.de\\\/\",\"name\":\"WOLF OF SEO\",\"description\":\"Die E-Commerce SEO-Agentur\",\"publisher\":{\"@id\":\"https:\\\/\\\/wolf-of-seo.de\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/wolf-of-seo.de\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"en-US\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/wolf-of-seo.de\\\/#organization\",\"name\":\"WOLF OF SEO\",\"url\":\"https:\\\/\\\/wolf-of-seo.de\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"en-US\",\"@id\":\"https:\\\/\\\/wolf-of-seo.de\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/wolf-of-seo.de\\\/wp-content\\\/uploads\\\/2021\\\/11\\\/logo_wos_beitragsbild3.jpg\",\"contentUrl\":\"https:\\\/\\\/wolf-of-seo.de\\\/wp-content\\\/uploads\\\/2021\\\/11\\\/logo_wos_beitragsbild3.jpg\",\"width\":1,\"height\":1,\"caption\":\"WOLF OF SEO\"},\"image\":{\"@id\":\"https:\\\/\\\/wolf-of-seo.de\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/www.facebook.com\\\/wolf.of.seo.ns\",\"https:\\\/\\\/x.com\\\/wolf_of_seo\"]}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"What is crawling? | Crawling Tips &amp; Avoid Mistakes","description":"Crawling (or spidering) is when Google or another search engine sends a bot to a web page and \"reads\" the page.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/wolf-of-seo.de\/en\/what-is\/crawling\/","og_locale":"en_US","og_type":"article","og_title":"Crawling","og_description":"Crawling (oder Spidering) ist, wenn Google oder eine andere Suchmaschine einen Bot an eine Webseite schickt und die Seite \"liest\".","og_url":"https:\/\/wolf-of-seo.de\/en\/what-is\/crawling\/","og_site_name":"WOLF OF SEO","article_publisher":"https:\/\/www.facebook.com\/wolf.of.seo.ns","article_modified_time":"2023-09-29T05:38:22+00:00","og_image":[{"url":"https:\/\/wolf-of-seo.de\/wp-content\/uploads\/2019\/06\/Was-ist-1-1.png","type":"","width":"","height":""}],"twitter_card":"summary_large_image","twitter_site":"@wolf_of_seo","twitter_misc":{"Est. reading time":"6 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/wolf-of-seo.de\/en\/what-is\/crawling\/","url":"https:\/\/wolf-of-seo.de\/en\/what-is\/crawling\/","name":"What is crawling? | Crawling Tips &amp; Avoid Mistakes","isPartOf":{"@id":"https:\/\/wolf-of-seo.de\/#website"},"primaryImageOfPage":{"@id":"https:\/\/wolf-of-seo.de\/en\/what-is\/crawling\/#primaryimage"},"image":{"@id":"https:\/\/wolf-of-seo.de\/en\/what-is\/crawling\/#primaryimage"},"thumbnailUrl":"https:\/\/wolf-of-seo.de\/wp-content\/uploads\/2019\/06\/Was-ist-1-1.png","datePublished":"2019-04-26T07:58:12+00:00","dateModified":"2023-09-29T05:38:22+00:00","description":"Crawling (or spidering) is when Google or another search engine sends a bot to a web page and \"reads\" the page.","breadcrumb":{"@id":"https:\/\/wolf-of-seo.de\/en\/what-is\/crawling\/#breadcrumb"},"inLanguage":"en-US","potentialAction":[{"@type":"ReadAction","target":["https:\/\/wolf-of-seo.de\/en\/what-is\/crawling\/"]}]},{"@type":"ImageObject","inLanguage":"en-US","@id":"https:\/\/wolf-of-seo.de\/en\/what-is\/crawling\/#primaryimage","url":"https:\/\/wolf-of-seo.de\/wp-content\/uploads\/2019\/06\/Was-ist-1-1.png","contentUrl":"https:\/\/wolf-of-seo.de\/wp-content\/uploads\/2019\/06\/Was-ist-1-1.png"},{"@type":"BreadcrumbList","@id":"https:\/\/wolf-of-seo.de\/en\/what-is\/crawling\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/wolf-of-seo.de\/"},{"@type":"ListItem","position":2,"name":"Crawling"}]},{"@type":"WebSite","@id":"https:\/\/wolf-of-seo.de\/#website","url":"https:\/\/wolf-of-seo.de\/","name":"WOLF OF SEO","description":"The e-commerce SEO agency","publisher":{"@id":"https:\/\/wolf-of-seo.de\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/wolf-of-seo.de\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"en-US"},{"@type":"Organization","@id":"https:\/\/wolf-of-seo.de\/#organization","name":"WOLF OF SEO","url":"https:\/\/wolf-of-seo.de\/","logo":{"@type":"ImageObject","inLanguage":"en-US","@id":"https:\/\/wolf-of-seo.de\/#\/schema\/logo\/image\/","url":"https:\/\/wolf-of-seo.de\/wp-content\/uploads\/2021\/11\/logo_wos_beitragsbild3.jpg","contentUrl":"https:\/\/wolf-of-seo.de\/wp-content\/uploads\/2021\/11\/logo_wos_beitragsbild3.jpg","width":1,"height":1,"caption":"WOLF OF SEO"},"image":{"@id":"https:\/\/wolf-of-seo.de\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/wolf.of.seo.ns","https:\/\/x.com\/wolf_of_seo"]}]}},"_links":{"self":[{"href":"https:\/\/wolf-of-seo.de\/en\/wp-json\/wp\/v2\/glossary\/3768","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/wolf-of-seo.de\/en\/wp-json\/wp\/v2\/glossary"}],"about":[{"href":"https:\/\/wolf-of-seo.de\/en\/wp-json\/wp\/v2\/types\/glossary"}],"author":[{"embeddable":true,"href":"https:\/\/wolf-of-seo.de\/en\/wp-json\/wp\/v2\/users\/3"}],"version-history":[{"count":0,"href":"https:\/\/wolf-of-seo.de\/en\/wp-json\/wp\/v2\/glossary\/3768\/revisions"}],"wp:attachment":[{"href":"https:\/\/wolf-of-seo.de\/en\/wp-json\/wp\/v2\/media?parent=3768"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}