robots.txt: So steuerst Du, welche Bereiche Deiner Website Suchmaschinen crawlen dürfen
Von Niels Stuck · Aktualisiert am 17. Juli 2026 · 11 Min. Lesezeit
Die robots.txt ist die erste Datei, die ein Suchmaschinen-Crawler auf Deiner Website aufruft – und eine der am häufigsten falsch konfigurierten. Eine einzige Zeile zu viel, und plötzlich verschwinden ganze Directories aus Google. Genau deshalb lohnt es sich, dieses kleine Textdokument wirklich zu verstehen, bevor Du es anfasst.
Das Wichtigste in Kürze
- Die robots.txt ist eine Textdatei im Wurzelverzeichnis Deiner Domain, die Crawlern sagt, welche URLs sie abrufen dürfen und welche nicht.
- Sie steuert das Crawling, nicht die Indexierung – eine per robots.txt gesperrte Seite kann trotzdem in Google landen.
- Die Regeln sind eine höfliche Bitte, kein Zugriffsschutz: seriöse Bots halten sich daran, bösartige ignorieren sie.
- Prüfe Deine robots.txt nach jeder Änderung im robots.txt-Tester der Google Search Console, bevor sie live geht.
Die robots.txt ist eine einfache Textdatei im Wurzelverzeichnis einer Domain, die Webcrawlern nach dem Robots-Exclusion-Standard mitteilt, welche Pfade sie abrufen dürfen und welche nicht. Sie besteht aus Regelblöcken pro User-Agent mit Disallow- und Allow-Anweisungen. Auch als Robots-Exclusion-Protokoll bekannt.
Anders gesagt: Die robots.txt ist wie das Schild am Eingang eines Museums, das festlegt, welche Räume für Besucher offen sind und welche nur dem Personal gehören. Wer sich an die Hausordnung hält, respektiert das Schild – wer einbrechen will, tut es trotzdem.
Und genau hier stehen die Einsätze: Sperrst Du versehentlich das falsche Verzeichnis, kann Google Deine wichtigsten Seiten nicht mehr abrufen und die Rankings brechen weg. Lässt Du dagegen sinnlose Parameter-URLs offen, verschwendest Du Crawl-Budget, das für Deine Umsatzseiten fehlt. Die robots.txt ist klein – ihre Wirkung ist es nicht.
Wie funktioniert die robots.txt?
Die robots.txt funktioniert nach einem festen Ablauf: Bevor ein Crawler eine Seite Deiner Domain abruft, holt er zuerst die Datei unter https://deine-domain.de/robots.txt ab. Er liest die Regeln, sucht den Block, der auf seinen eigenen Namen passt, und entscheidet dann pro URL, ob er sie crawlen darf.
Der Aufbau ist streng zeilenbasiert. Jede Anweisung besteht aus einem Feldnamen, einem Doppelpunkt und einem Wert. Die zentralen Felder sind User-agent (für welchen Bot die folgenden Regeln gelten), Disallow (welcher Pfad gesperrt ist) und Allow (welche Ausnahme innerhalb eines gesperrten Pfads doch erlaubt bleibt). Ein leerer Disallow-Wert bedeutet: nichts gesperrt.
Die Datei muss zwingend im Wurzelverzeichnis liegen und über HTTP erreichbar sein. Eine robots.txt unter /blog/robots.txt wird schlicht ignoriert – Crawler suchen sie ausschließlich unter der Root. Pro Host und Protokoll gilt genau eine Datei; https:// and http:// sowie Subdomains werden dabei getrennt behandelt.
Warum ist die robots.txt für SEO wichtig?
Die robots.txt ist für SEO wichtig, weil sie steuert, wie ein Crawler seine begrenzte Zeit auf Deiner Website verbringt. Große Shops mit Filtern, Sortierungen und Session-Parametern erzeugen schnell Millionen faktisch identischer URLs. Ohne Steuerung verheddert sich der Bot in diesem Labyrinth, statt Deine neuen Produktseiten zu entdecken.
Dieses Zusammenspiel nennt sich Crawl budget: die Menge an URLs, die eine Search Engine in einem bestimmten Zeitraum von Deiner Domain abruft. Sperrst Du unwichtige Bereiche wie interne Search results oder Warenkorb-URLs, lenkst Du dieses Budget auf die Seiten, die tatsächlich Umsatz bringen. Das ist gerade bei großen E-commerce-Projekten ein spürbarer Hebel.
Ein zweiter Grund ist die Entlastung Deines Servers. Aggressives Crawling kann bei schwacher Infrastruktur die Ladezeit für echte Nutzer verschlechtern. Über gezielte Disallow-Regeln reduzierst Du unnötige Abrufe – und das wirkt sich indirekt auf die Nutzererfahrung und damit auf Deine Rankings aus.
Important: Für kleine Websites mit ein paar Dutzend Seiten ist Crawl-Budget-Optimierung praktisch irrelevant. Google crawlt solche Seiten ohnehin vollständig. Bastle dann keine komplexe robots.txt zusammen – eine leere oder minimale Datei ist hier oft die bessere Wahl.
robots.txt vs. Meta Robots Tag: der entscheidende Unterschied
Die robots.txt steuert das Crawling, the Meta Robots Tag steuert die Indexierung – und diese Verwechslung ist der teuerste Fehler im ganzen Themenfeld. Eine per robots.txt gesperrte Seite ruft Google nicht ab, kann sie aber trotzdem indexieren, wenn andere Seiten darauf verlinken.
Das Ergebnis ist der berüchtigte Suchtreffer „Für diese Seite sind keine Informationen verfügbar“ – die URL steht im Index, aber ohne Snippet, weil Google den Inhalt nie lesen durfte. Willst Du eine Seite wirklich aus dem Index halten, brauchst Du Noindex im Meta-Tag oder HTTP-Header – und dafür muss die Seite crawlbar bleiben.
Die Faustregel aus der Agentur-Praxis: robots.txt nutzt Du, um Crawling zu verhindern (Crawl-Budget, Serverlast). Noindex nutzt Du, um Seiten aus dem Index zu halten (Dünne Inhalte, Duplikate). Beides zusammen auf derselben URL ist ein Widerspruch – Google sieht das Noindex nie, weil es die Seite gar nicht erst crawlt.
Der Vollständigkeit halber: Über die robots.txt lässt sich zwar ein inoffizielles Noindex:-Feld setzen, doch Google hat dessen Unterstützung 2019 offiziell eingestellt. Verlasse Dich niemals darauf.
| Criterion | robots.txt | Meta Robots Tag (noindex) |
|---|---|---|
| Steuert | Crawling (Abruf) | Indexierung (Aufnahme) |
| Location | Datei im Wurzelverzeichnis | Im HTML-Head jeder Seite |
| Seite wird gelesen? | Nein, bei Disallow | Ja, muss crawlbar sein |
| Hält aus dem Index? | Nein (nur bedingt) | Ja, zuverlässig |
| Spart Crawl-Budget? | Yes | No |
Kurz gesagt: Wähle das Werkzeug nach dem Ziel. Soll der Bot gar nicht erst hinsehen, ist die robots.txt richtig. Soll die Seite sichtbar bleiben, aber nicht ranken, brauchst Du Noindex.
Die robots.txt-Syntax mit Beispiel-Konfiguration
Die robots.txt-Syntax kennt eine Handvoll Direktiven, die in der Praxis fast alles abdecken. Jeder Regelblock beginnt mit einer oder mehreren User Agent-Zeilen, gefolgt von den zugehörigen Disallow- und Allow-Anweisungen. Ein Sternchen (*) im User-Agent gilt als Platzhalter für alle Bots.
Zwei Wildcards machen die Regeln flexibel: Das * steht für eine beliebige Zeichenfolge, das $ markiert das Ende einer URL. With Disallow: /*.pdf$ sperrst Du also alle PDF-Dateien. Kommentare beginnen mit # und werden ignoriert.
# Beispiel-robots.txt fuer einen Onlineshop
User-agent: *
Disallow: /warenkorb/
Disallow: /checkout/
Disallow: /*?sort=
Disallow: /suche
Allow: /suche/ratgeber
User-agent: Googlebot-Image
Disallow: /intern/
Sitemap: https://www.beispielshop.de/sitemap.xml
Dieser Block sperrt für alle Bots die Warenkorb-, Checkout- und Sortier-URLs sowie die interne Suche, erlaubt aber gezielt einen Ratgeber-Pfad darunter. Der zweite Block gilt nur für den Bilder-Crawler von Google. Am Ende steht der Verweis auf die Sitemap – ein Feld, das Crawlern hilft, alle relevanten URLs schneller zu finden.
Profi-Tipp: Bei konkurrierenden Regeln gewinnt bei Google die spezifischste (längste) Pfadangabe – nicht die Reihenfolge. Allow: /ordner/seite schlägt also Disallow: /ordner/. Verlasse Dich im Zweifel nie auf Dein Bauchgefühl, sondern teste die konkrete URL.
Wichtige Direktiven im Überblick
Neben Disallow und Allow gibt es Felder, deren Unterstützung von Bot zu Bot variiert. Die folgende Tabelle zeigt, worauf Du Dich verlassen kannst und worauf nicht.
| Direktive | Function | Von Google unterstützt? |
|---|---|---|
| User-agent | Legt fest, für welchen Bot der Block gilt | Yes |
| Disallow | Sperrt einen Pfad für das Crawling | Yes |
| Allow | Erlaubt eine Ausnahme im gesperrten Pfad | Yes |
| Sitemap | Verweist auf die XML-Sitemap | Yes |
| Crawl-delay | Pause zwischen Abrufen in Sekunden | Nein (Bing/Yandex ja) |
Die Kernaussage: Halte Dich an die vier von Google unterstützten Felder. Crawl-delay ignoriert der Googlebot komplett – die Crawl-Frequenz steuerst Du dort über die Search Console oder über Serverantworten.
Wie sieht eine echte robots.txt aus?
Eine echte robots.txt großer Shops ist oft überraschend umfangreich, weil sie über Jahre gewachsen ist. Wirf einen Blick auf öffentlich einsehbare Dateien großer Anbieter – jede Domain legt ihre robots.txt offen, das gehört zum Standard. So siehst Du, wie Profis Filter-, Login- und Parameter-Pfade in der Praxis behandeln.
robots.txt richtig testen und erstellen
Die robots.txt testest Du am zuverlässigsten mit dem robots.txt-Tester der Google Search Console. Dort gibst Du eine konkrete URL ein und siehst sofort, ob und durch welche Regel sie blockiert wird. Dieser Live-Test ist Pflicht vor jedem Deployment – eine Vermutung reicht nicht.
Zum Erstellen brauchst Du keinen teuren Generator. Ein reiner Texteditor genügt, die Datei muss lediglich UTF-8-kodiert sein und exakt robots.txt heißen. Lade sie anschließend per FTP ins Wurzelverzeichnis oder lass sie von Deinem CMS ausliefern. WordPress etwa erzeugt automatisch eine virtuelle robots.txt, die Du über SEO-Plugins wie Yoast oder Rank Math anpasst.
Bei Shop-Systemen unterscheidet sich der Weg: Shopify erlaubt seit 2021 das Bearbeiten über die Datei robots.txt.liquid, Shopware und Magento bringen eigene Konfigurationsmasken mit. Prüfe nach jeder Anpassung, ob die Datei tatsächlich unter der Root ausgeliefert wird – gerade bei Multishop-Setups landet sie sonst auf der falschen Subdomain.
Gut zu wissen: Für einen schnellen Fehler-Scan über alle Regeln hinweg eignet sich Screaming Frog: Der Crawler liest Deine robots.txt ein und markiert jede URL, die durch eine Direktive blockiert wird. So findest Du versehentlich gesperrte Seiten in Minuten statt durch mühsames Einzel-Prüfen.
robots.txt und KI-Crawler: der aktuelle Streitpunkt
Die robots.txt ist 2026 zum zentralen Schauplatz im Umgang mit KI-Crawlern geworden. Betreiber sperren zunehmend Bots wie GPTBot von OpenAI oder ClaudeBot, um zu verhindern, dass ihre Inhalte ohne Gegenleistung für das Training großer Sprachmodelle abgesaugt werden. Die Syntax dafür ist identisch – Du adressierst den KI-Bot einfach per User-Agent.
# KI-Trainings-Crawler aussperren
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
Die entscheidende Einschränkung: Das funktioniert nur, solange der Anbieter seinen Bot ehrlich benennt und sich an die Regeln hält. Genau hier liegt die grundlegende Schwäche des Standards, auf die wir im nächsten Abschnitt eingehen.
Datierte Fakten zum Einordnen
Wie relevant das Thema ist, zeigen belastbare Zahlen aus jüngeren Untersuchungen:
- Laut einer Analyse von Originality.ai (2024) blockierten bereits rund 35 % der 1.000 meistbesuchten Websites den GPTBot von OpenAI per robots.txt.
- Eine Untersuchung des Data Provenance Initiative (MIT, 2024) ergab, dass innerhalb eines Jahres über 25 % der hochwertigsten Webquellen für KI-Training per robots.txt oder Nutzungsbedingungen eingeschränkt wurden.
- Google bestätigte in der Search-Central-Dokumentation (2024), dass eine per robots.txt blockierte Seite dennoch indexed werden kann, wenn externe Links auf sie verweisen.
Häufige Fehler bei der robots.txt
Die meisten robots.txt-Probleme entstehen aus wenigen, immer gleichen Mustern. Diese fünf Fehler siehst Du in der Praxis am häufigsten:
- Die ganze Website versehentlich sperren. A
Disallow: /im Block für alle Bots nimmt Deine komplette Domain aus dem Crawling. Klassiker beim Umzug von der Staging- auf die Live-Umgebung, wenn die Sperre nicht entfernt wird. Fix: Nach jedem Go-live die robots.txt sofort prüfen. - Crawling statt Indexierung sperren wollen. Wer eine Seite aus Google entfernen will und sie per Disallow sperrt, erreicht das Gegenteil – die URL bleibt im Index, nur ohne Snippet. Fix: Noindex verwenden und die Seite crawlbar lassen.
- CSS und JavaScript blockieren. Sperrst Du Ressourcen-Ordner, kann Google Deine Seiten nicht rendern und bewertet sie schlechter. Fix: Ressourcen-Pfade grundsätzlich crawlbar halten.
- Die Datei am falschen Ort ablegen. Eine robots.txt in einem Unterordner wird komplett ignoriert. Fix: Ausschließlich ins Wurzelverzeichnis der jeweiligen (Sub-)Domain.
- Sensible Pfade offen benennen. Who
Disallow: /admin-geheim/schreibt, verrät Angreifern genau diesen Pfad – die Datei ist öffentlich lesbar. Fix: Echten Schutz über Serverseitige Authentifizierung, nie über robots.txt.
Ein Mini-Case aus der Agentur-Praxis verdeutlicht Fehler 1: Ein Onlineshop verlor binnen zwei Wochen rund 60 % seines organischen Traffics. Ursache war eine einzige Zeile Disallow: /, die beim Relaunch aus der Staging environment mitgezogen wurde. Nach dem Entfernen der Zeile und einer erneuten Einreichung der Sitemap erholten sich die Rankings innerhalb von drei Wochen fast vollständig – ein teurer, aber komplett vermeidbarer Fehler.
Checkliste: robots.txt live schalten
- Datei liegt exakt unter
/robots.txtim Wurzelverzeichnis - Keine unbeabsichtigte
Disallow: /-Regel vorhanden - CSS-, JS- und Bild-Ressourcen sind crawlbar
- Sitemap-Zeile mit absoluter URL ergänzt
- Jede kritische URL im Search-Console-Tester geprüft
- Kein sensibler Pfad im Klartext offengelegt
Häufige Fragen zu robots.txt
Was passiert, wenn keine robots.txt existiert?
Fehlt die robots.txt, dürfen Crawler standardmäßig die gesamte Website abrufen. Das ist für kleine Seiten völlig in Ordnung – Google interpretiert einen fehlenden Statuscode 404 als „keine Einschränkungen“. Ein Onlineshop mit vielen Parameter-URLs profitiert dagegen von einer bewusst gepflegten Datei, um Crawl-Budget zu lenken.
Kann ich mit der robots.txt Seiten aus Google entfernen?
Nein, die robots.txt entfernt keine Seiten zuverlässig aus dem Index. Sie verhindert nur den Abruf. Eine bereits indexierte, dann gesperrte Seite bleibt oft monatelang in den Suchergebnissen. Zum Entfernen brauchst Du Noindex oder das Entfernungstool der Search Console – und die Seite muss dafür crawlbar sein.
Muss jede Website eine robots.txt haben?
Nein, eine robots.txt ist technisch optional. Viele kleine Websites laufen ohne und ranken einwandfrei. Sinnvoll wird sie, sobald Du bestimmte Bereiche vom Crawling ausschließen oder auf Deine Sitemap verweisen willst. Als Best Practice empfiehlt sich mindestens eine minimale Datei mit dem Sitemap-Verweis.
Halten sich alle Bots an die robots.txt?
Nein, die robots.txt ist eine freiwillige Vereinbarung ohne technische Durchsetzung. Seriöse Crawler wie Googlebot oder Bingbot respektieren sie, während Scraper und Malware-Bots sie ignorieren. Für echten Schutz sensibler Bereiche brauchst Du deshalb serverseitige Zugriffskontrollen, kein Disallow.
Wie oft liest Google meine robots.txt neu ein?
Google ruft die robots.txt in der Regel einmal täglich ab und cacht sie bis zu 24 Stunden. Änderungen greifen also nicht sofort. Willst Du eine Aktualisierung beschleunigen, kannst Du in der Search Console eine erneute Verarbeitung anstoßen – gerade nach dem Beheben einer versehentlichen Vollsperre ist das wertvoll.
Verwandte Begriffe
- Crawling – wie Suchmaschinen Deine Seiten überhaupt entdecken.
- Sitemap – die Landkarte Deiner URLs für Crawler.
- Meta Robots Tag – steuert die Indexierung einzelner Seiten.
- Noindex – hält Seiten zuverlässig aus dem Index.
- Crawl budget – das Zeitkontingent der Crawler auf Deiner Domain.
- User Agent – die Kennung, über die Bots angesprochen werden.
- Webcrawler – die Programme, die das Web systematisch abrufen.
German 
English 