Die Datei robots.txt hat gewisse Auswirkungen auf die Suchmaschinenoptimierung (SEO) bzw. die Indexierung der eigenen Websites bei Suchmaschinen wie Google, Bing, Yahoo, Ask usw.
Auswirkungen der robots.txt auf SEO: Was macht die Datei?
robots.txt – Auswirkungen auf SEO: Wann brauche ich die Datei?
Man braucht die robot.txt nur, wenn man bestimmte Seiten seiner Website von der Indexierung der Suchmaschinen ausschließen will. Solange man alle seine Seiten im Index der Suchmaschinen sehen will, kann man auf die robots.txt verzichten bzw. sie einfach löschen, falls sie vorliegen sollte. Beispiele für Seite im Zusammenhang mit dem Gebrauch der robots.txt, also dem Ausschluss der Seiten aus den SERPS sind zuallererst alle sicherheitsrelevanten Seiten einer Website. Seiten, des Zahlungsprozesses kann und sollte man also in die robots.txt schreiben und sie damit für Suchmaschinen ausschließen.Jeder sollte sich darüberhinaus selbst Gedanken machen, welche Seiten er oder sie nicht in den SERPS sehen möchte.