Die Datei robots.txt hat gewisse Auswirkungen auf die Suchmaschinenoptimierung (SEO) bzw. die Indexierung der eigenen Websites bei Suchmaschinen wie Google, Bing, Yahoo, Ask usw.
Auswirkungen der robots.txt auf SEO: Was macht die Datei?
Die Datei robots.txt ist eine Datei, die, wenn Sie vorliegt, den Suchmaschinenrobots auf ihrem Weg durch das Netz mitteilt, welche Websites sie nicht indexieren sollen. Die in der robot.txt erwähnten Seiten erscheinen also nicht in den SERPS (Search Engine Result Pages = Suchmaschinenergebnisseiten).
Um herauszufinden, welche Seiten von den Suchmaschinenrobots gefiltert werden gibt es zwei Wege:
1. Ein Blick in die Datei robots.txt
2. Google Webmaster-Tools Abschnitt Status/Blockierte URLs
robots.txt – Auswirkungen auf SEO: Wann brauche ich die Datei?
Man braucht die robot.txt nur, wenn man bestimmte Seiten seiner Website von der Indexierung der Suchmaschinen ausschließen will. Solange man alle seine Seiten im Index der Suchmaschinen sehen will, kann man auf die robots.txt verzichten bzw. sie einfach löschen, falls sie vorliegen sollte.
Beispiele für Seite im Zusammenhang mit dem Gebrauch der robots.txt, also dem Ausschluss der Seiten aus den SERPS sind zuallererst alle sicherheitsrelevanten Seiten einer Website. Seiten, des Zahlungsprozesses kann und sollte man also in die robots.txt schreiben und sie damit für Suchmaschinen ausschließen.
Jeder sollte sich darüberhinaus selbst Gedanken machen, welche Seiten er oder sie nicht in den SERPS sehen möchte.
Wo liegt die robots.txt Datei bei WordPress?
Bei WordPress liegt die robots.txt normalerweise im Root, also im Stammverzeichnis der Domain, also in dem Ordner, wo auch die Datei wp-config.php liegt.
Auswirkungen auf die SEO
Die tatsächlichen Auswirkungen auf die Suchmaschinenoptimierung sind eher sekundär zu sehen, da die robots.txt nur einen inversen Charakter hat. Will man allerdings Wortfamilien, die in bestimmten Seiten vorkommen und keinen direkten Zusammenhang zum Hauptthema der Website darstellen, unterdrücken, haben die in der robots.txt aufgeführten Seiten und ihre Verlinkungen einen Einfluss darauf.
Dieser Einfluss ist natürlich umso größer, je kleiner die Anzahl der Inhaltsseiten der Website ist. Andersherum ausgedrückt. Je größer eine Website wird, desto geringer wird der Einfluss der robots.txt auf das Gesamtranking der Website in den SERPS haben.
by 
