LOADING

Was macht die robots.txt Datei? – Auswirkungen auf SEO

by Niels Stuck Januar 10, 2019
robots.txt Datei

Die Datei robots.txt hat gewisse Auswirkungen auf die Suchmaschinenoptimierung (SEO) bzw. die Indexierung der eigenen Websites bei Suchmaschinen wie Google, Bing, Yahoo, Ask usw.

 

Auswirkungen der robots.txt auf SEO: Was macht die Datei?

Die Datei robots.txt ist eine Datei, die, wenn Sie vorliegt, den Suchmaschinenrobots auf ihrem Weg durch das Netz mitteilt, welche Websites sie nicht indexieren sollen. Die in der robot.txt erwähnten Seiten erscheinen also nicht in den SERPS (Search Engine Result Pages = Suchmaschinenergebnisseiten).

Um herauszufinden, welche Seiten von den Suchmaschinenrobots gefiltert werden gibt es zwei Wege:

1. Ein Blick in die Datei robots.txt
2. Google Webmaster-Tools Abschnitt Status/Blockierte URLs

 

robots.txt – Auswirkungen auf SEO: Wann brauche ich die Datei?

Man braucht die robot.txt nur, wenn man bestimmte Seiten seiner Website von der Indexierung der Suchmaschinen ausschließen will. Solange man alle seine Seiten im Index der Suchmaschinen sehen will, kann man auf die robots.txt verzichten bzw. sie einfach löschen, falls sie vorliegen sollte.

Beispiele für Seite im Zusammenhang mit dem Gebrauch der robots.txt, also dem Ausschluss der Seiten aus den SERPS sind zuallererst alle sicherheitsrelevanten Seiten einer Website. Seiten, des Zahlungsprozesses kann und sollte man also in die robots.txt schreiben und sie damit für Suchmaschinen ausschließen.

Jeder sollte sich darüberhinaus selbst Gedanken machen, welche Seiten er oder sie nicht in den SERPS sehen möchte.

 

Wo liegt die robots.txt Datei bei WordPress?

Bei WordPress liegt die robots.txt normalerweise im Root, also im Stammverzeichnis der Domain, also in dem Ordner, wo auch die Datei wp-config.php liegt.

 

Auswirkungen auf die SEO

Die tatsächlichen Auswirkungen auf die Suchmaschinenoptimierung sind eher sekundär zu sehen, da die robots.txt nur einen inversen Charakter hat. Will man allerdings Wortfamilien, die in bestimmten Seiten vorkommen und keinen direkten Zusammenhang zum Hauptthema der Website darstellen, unterdrücken, haben die in der robots.txt aufgeführten Seiten und ihre Verlinkungen einen Einfluss darauf.

Auch interessant:  Wie sich Blogger gegen Abmahnungen versichern können

Dieser Einfluss ist natürlich umso größer, je kleiner die Anzahl der Inhaltsseiten der Website ist. Andersherum ausgedrückt. Je größer eine Website wird, desto geringer wird der Einfluss der robots.txt auf das Gesamtranking der Website in den SERPS haben.

Social Shares

Du willst deiner Konkurrenz einen Schritt voraus sein?

PRO-Tipps um dein Projekt auf das nächste Level zu bringen!

Niels Stuck

SEO mit Leidenschaft seit 2013, der hier für Ihren zukünftigen Weberfolg bloggt. Experte im Bereich des Linkbuilding und der Offpage Optimierung. Viertieft darin den Algorithmus zu erforschen und immer auf dem neusten Stand, was die stetig variierende Welt der Suchmaschinenstandards betrifft. Fan der 80/20 Regel und mit glasklarer Effizienz an Ergebnissen für Ihr Webprojekt orientiert.

Leave a Comment

Your email address will not be published. Required fields are marked *

Sie wollen mehr Besucher durch SEO?

Nutzen Sie unsere kostenlose SEO Analyse um Ihre Seite zu verbessern!
Website verbessern
close-link
Click Me