Index

Was ist ein Index?

Der (Suchmaschinen-) Index ist der Ort, an dem alle Daten, die eine Suchmaschine (Google, Bing, Yahoo, etc.) gesammelt hat, gespeichert werden. Es ist der Suchmaschinenindex, der die Ergebnisse für die Suchanfragen liefert. Die Suchmaschinen-Indizierung ist also der Prozess einer Suchmaschine, die Daten zu sammeln, zu analysieren und zu speichern, welche von der Suchmaschine verwendet werden.

Ohne einen solchen Suchmaschinenindex müssten Suchmaschinen bei jeder Suchanfrage jede Website und Datenbank durchsuchen. Aber um sicherzustellen, dass die Informationen vollständig geliefert werden, würde eine Suche nur nach den Keywords nicht ausreichen. Es müsste jedesmal jede Datenbank durchsucht werden zu der die Suchmaschine Zugang hat. Das dieses Vorgehen nicht praktikabel sein kann liegt auf der Hand. Deshalb werden von Suchmaschinen sogenannte Searchengine-Spider (auch Crawler genannt) genutzt.

Crawler, scannen in bestimmten Intervallen jede Website im Web nach Informationen ab, welche anschließend im Suchmaschinenindex gespeichert werden.

Ein Suchmaschinenindex besteht aus vielen verschiedenen Teilen, wie z.B. Designfaktoren und Datenstrukturen. Die Designfaktoren eines Suchmaschinenindex gestalten die Struktur dessen Struktur und diktieren damit, wie der Index funktioniert. Die einzelnen Bestandteile werden kombiniert, um den letztendlichen Index zu erstellen.

Zu den Bestandteilen gehören z.B.:

• Merge-Faktoren, die entscheiden, wie Informationen in den Index gelangen und ob es sich um neue oder zu aktualisierende Daten handelt.
• Die Indexgröße, die sich auf die Menge an möglichem “computing Space” bezieht, die zur Unterstützung des Indexes erforderlich ist.
• Speichertechniken die entscheiden, wie die Informationen gespeichert werden sollen. Bspw. werden größere Dateien komprimiert, während kleinere Dateien einfach gefiltert werden.

Was passiert wenn eine Seite nicht indixiert ist?

Wenn Ihre Website oder eine einzelne Seite nicht indixiert wird, ist der Übeltäter meist entweder das Meta-Robot-Tag, das auf einer Seite verwendet wird, oder die unsachgemäße Verwendung von disallow in der robots.txt Datei.

Sowohl das Meta-Tag, das sich auf Seitenebene befindet, als auch die robots.txt Datei geben den Suchmaschinen-Crawlern Anweisungen, wie sie Inhalte auf Ihrer Website behandeln sollen.

Der Unterschied besteht darin, dass das Robots-Meta-Tag auf einer einzelnen Seite erscheint, während die robots.txt Datei Anweisungen für die gesamte Website enthält. In der  robots.txt Datei können Sie jedoch Seiten oder Verzeichnisse auslesen und festlegen, wie die Crawler diese Bereiche während der Indixierung behandeln sollen.