Das Wichtigste in Kürze<\/p>\n
- \n
- Die robots.txt ist eine Textdatei im Wurzelverzeichnis Deiner Domain, die Crawlern sagt, welche URLs sie abrufen dürfen und welche nicht.<\/li>\n
- Sie steuert das Crawling<\/span><\/strong>, nicht die Indexierung – eine per robots.txt gesperrte Seite kann trotzdem in Google landen.<\/li>\n
- Die Regeln sind eine höfliche Bitte, kein Zugriffsschutz: seriöse Bots halten sich daran, bösartige ignorieren sie.<\/li>\n
- Prüfe Deine robots.txt nach jeder Änderung im robots.txt-Tester der Google Search Console, bevor sie live geht.<\/li>\n<\/ul>\n<\/div>\n
Die robots.txt ist eine einfache Textdatei im Wurzelverzeichnis einer Domain, die Webcrawlern nach dem Robots-Exclusion-Standard mitteilt, welche Pfade sie abrufen dürfen und welche nicht. Sie besteht aus Regelblöcken pro User-Agent mit Disallow- und Allow-Anweisungen. Auch als Robots-Exclusion-Protokoll bekannt.<\/p>\n
Anders gesagt: Die robots.txt ist wie das Schild am Eingang eines Museums, das festlegt, welche Räume für Besucher offen sind und welche nur dem Personal gehören. Wer sich an die Hausordnung hält, respektiert das Schild – wer einbrechen will, tut es trotzdem.<\/p>\n
Und genau hier stehen die Einsätze: Sperrst Du versehentlich das falsche Verzeichnis, kann Google Deine wichtigsten Seiten nicht mehr abrufen und die Rankings brechen weg. Lässt Du dagegen sinnlose Parameter-URLs offen, verschwendest Du Crawl-Budget, das für Deine Umsatzseiten fehlt. Die robots.txt ist klein – ihre Wirkung ist es nicht.<\/p>\n
Wie funktioniert die robots.txt?<\/h2>\n
Die robots.txt funktioniert nach einem festen Ablauf: Bevor ein Crawler eine Seite Deiner Domain abruft, holt er zuerst die Datei unter
https:\/\/deine-domain.de\/robots.txt<\/code> ab. Er liest die Regeln, sucht den Block, der auf seinen eigenen Namen passt, und entscheidet dann pro URL<\/span>, ob er sie crawlen darf.<\/p>\nDer Aufbau ist streng zeilenbasiert. Jede Anweisung besteht aus einem Feldnamen, einem Doppelpunkt und einem Wert. Die zentralen Felder sind
User-agent<\/code> (für welchen Bot die folgenden Regeln gelten),Disallow<\/code> (welcher Pfad gesperrt ist) undAllow<\/code> (welche Ausnahme innerhalb eines gesperrten Pfads doch erlaubt bleibt). Ein leerer Disallow-Wert bedeutet: nichts gesperrt.<\/p>\nDie Datei muss zwingend im Wurzelverzeichnis liegen und über HTTP erreichbar sein. Eine robots.txt unter
\/blog\/robots.txt<\/code> wird schlicht ignoriert – Crawler suchen sie ausschließlich unter der Root. Pro Host und Protokoll gilt genau eine Datei;https:\/\/<\/code> undhttp:\/\/<\/code> sowie Subdomains werden dabei getrennt behandelt.<\/p>\n![\"Flussdiagramm,](\"https:\/\/storage.googleapis.com\/wolf-of-seo-content\/wolf-of-seo.de\/glossary\/robots-txt\/1-diagram.png\")
Der Entscheidungsweg eines Crawlers vom Seitenaufruf bis zur Crawl-Entscheidung<\/figcaption><\/figure>\n Warum ist die robots.txt für SEO wichtig?<\/h2>\n
Die robots.txt ist für SEO wichtig, weil sie steuert, wie ein Crawler seine begrenzte Zeit auf Deiner Website verbringt. Große Shops mit Filtern, Sortierungen und Session-Parametern erzeugen schnell Millionen faktisch identischer URLs. Ohne Steuerung verheddert sich der Bot in diesem Labyrinth, statt Deine neuen Produktseiten zu entdecken.<\/p>\n
Dieses Zusammenspiel nennt sich Crawl Budget<\/a>: die Menge an URLs, die eine Suchmaschine<\/span> in einem bestimmten Zeitraum von Deiner Domain abruft. Sperrst Du unwichtige Bereiche wie interne Suchergebnisse<\/span> oder Warenkorb-URLs, lenkst Du dieses Budget auf die Seiten, die tatsächlich Umsatz bringen. Das ist gerade bei großen E-Commerce<\/span>-Projekten ein spürbarer Hebel.<\/p>\n
Ein zweiter Grund ist die Entlastung Deines Servers. Aggressives Crawling<\/span> kann bei schwacher Infrastruktur die Ladezeit für echte Nutzer verschlechtern. Über gezielte Disallow-Regeln reduzierst Du unnötige Abrufe – und das wirkt sich indirekt auf die Nutzererfahrung und damit auf Deine Rankings aus.<\/p>\n
\nWichtig:<\/strong> Für kleine Websites mit ein paar Dutzend Seiten ist Crawl-Budget-Optimierung praktisch irrelevant. Google crawlt solche Seiten ohnehin vollständig. Bastle dann keine komplexe robots.txt zusammen – eine leere oder minimale Datei ist hier oft die bessere Wahl.<\/p>\n<\/div>\n
robots.txt vs. Meta Robots Tag: der entscheidende Unterschied<\/h2>\n
Die robots.txt steuert das Crawling<\/span>, der Meta Robots Tag<\/a> steuert die Indexierung – und diese Verwechslung ist der teuerste Fehler im ganzen Themenfeld. Eine per robots.txt gesperrte Seite ruft Google nicht ab, kann sie aber trotzdem indexieren, wenn andere Seiten darauf verlinken.<\/p>\n
Das Ergebnis ist der berüchtigte Suchtreffer „Für diese Seite sind keine Informationen verfügbar“ – die URL<\/span> steht im Index<\/span>, aber ohne Snippet, weil Google den Inhalt nie lesen durfte. Willst Du eine Seite wirklich aus dem Index<\/span> halten, brauchst Du Noindex<\/a> im Meta-Tag oder HTTP-Header – und dafür muss die Seite crawlbar bleiben.<\/p>\n
Die Faustregel aus der Agentur-Praxis: robots.txt nutzt Du, um Crawling<\/span> zu verhindern (Crawl-Budget, Serverlast). Noindex<\/span> nutzt Du, um Seiten aus dem Index<\/span> zu halten (Dünne Inhalte, Duplikate). Beides zusammen auf derselben URL<\/span> ist ein Widerspruch – Google sieht das Noindex<\/span> nie, weil es die Seite gar nicht erst crawlt.<\/p>\n
Der Vollständigkeit halber: Über die robots.txt lässt sich zwar ein inoffizielles
Noindex<\/span>:<\/code>-Feld setzen, doch Google hat dessen Unterstützung 2019 offiziell eingestellt. Verlasse Dich niemals darauf.<\/p>\n
![\"Screenshot](\"https:\/\/storage.googleapis.com\/wolf-of-seo-content\/wolf-of-seo.de\/glossary\/robots-txt\/2-screenshot.png\")
![\"Balkendiagramm,](\"https:\/\/storage.googleapis.com\/wolf-of-seo-content\/wolf-of-seo.de\/glossary\/robots-txt\/3-chart.png\")