Was bedeutet noindex? Funktionsweise, Einsatz und wie Sie es aufspüren

noindex ist eine Anweisung an Suchmaschinen: Diese Seite dürfen Sie besuchen, aber zeigen Sie sie nicht in den Suchergebnissen. Es gehört zu den nützlichsten Stellschrauben dafür, was in der Suche erscheint – und, wenn es versehentlich stehen bleibt, zu den folgenschwersten, denn für Besucher sieht auf der Seite alles ganz normal aus.

Zwei Wege, noindex zu setzen

Das Robots-Meta-Tag

Im <head> der Seite: <meta name="robots" content="noindex">. Der Name robots gilt für alle Suchmaschinen. Eine einzelne sprechen Sie über deren eigenen Namen an, etwa googlebot. Anweisungen lassen sich kombinieren: noindex, nofollow bittet Crawler zusätzlich, den Links der Seite nicht zu folgen, und none bedeutet dasselbe wie noindex, nofollow.

Der X-Robots-Tag-Header

Dieselben Anweisungen lassen sich auch als HTTP-Antwort-Header senden: X-Robots-Tag: noindex. Für Dateien, die kein HTML sind, etwa PDFs, ist das die einzige Möglichkeit. Zudem lässt sich der Header in der Serverkonfiguration leicht für die gesamte Website setzen – und genau so bleibt er auch versehentlich stehen. Im Seitenquelltext sehen Sie ihn nicht. Prüfen Sie die Antwort-Header in den Entwicklertools oder mit curl -I.

noindex ist nicht dasselbe wie eine robots.txt-Sperre

Das ist das häufigste Missverständnis. Disallow in der robots.txt hindert Crawler daran, eine Seite abzurufen. noindex hindert sie daran, sie zu indexieren. Damit ein Crawler ein noindex sehen kann, muss er die Seite abrufen. Sperren Sie also eine URL in der robots.txt, bekommt der Crawler das noindex nie zu Gesicht. Die URL kann sogar ohne Beschreibung in den Ergebnissen auftauchen, wenn andere Websites auf sie verlinken.

Also: Um eine Seite aus der Suche herauszuhalten, erlauben Sie das Crawling und verwenden Sie noindex. Google unterstützt noindex-Regeln in der robots.txt seit 2019 nicht mehr. Wofür die robots.txt eigentlich gedacht ist, erklärt unser Leitfaden zu robots.txt und sitemap.xml.

Wann noindex das richtige Mittel ist

• Danke-, Bestätigungs- und Kontoseiten, die in der Suche keinen Wert haben.
• Ergebnisseiten der internen Website-Suche.
• Dünne Tag-, Archiv- oder Filterseiten, die nicht mit Ihren Hauptseiten konkurrieren sollen.
• Staging- und Vorschau-Websites – am besten zusätzlich mit einem Passwort geschützt, denn noindex hält niemanden vom Besuch ab.
• Kampagnen-Landingpages, die Ihre Hauptinhalte duplizieren.

Nicht das richtige Mittel ist noindex für Duplikate, die Sie unter einer URL zusammenführen möchten. Dafür nehmen Sie ein Canonical oder eine Weiterleitung, wie unter Canonical-Probleme beheben erklärt. Und kombinieren Sie noindex nicht mit einem Canonical, das auf eine andere Seite zeigt: Das eine sagt „Diese Seite weglassen“, das andere „Diese Seite ist eine Kopie von jener“.

Wie noindex versehentlich stehen bleibt

• Die Einstellung einer Staging-Website wird beim Launch in die Produktion übernommen.
• Das WordPress-Kästchen „Suchmaschinen davon abhalten, diese Website zu indexieren“ unter Einstellungen → Lesen bleibt angehakt.
• Die Standardeinstellung eines SEO-Plugins setzt ganze Inhaltstypen, etwa Produkte oder Kategorien, auf noindex.
• Ein X-Robots-Tag-Header, der in der Server- oder CDN-Konfiguration für Staging ergänzt wurde, wird überall ausgerollt.
• Ein Seiten-Template fügt noindex hinzu, wenn ein Feld leer ist.

So prüfen Sie eine Seite

Prüfen Sie die Seite mit dem kostenlosen SEO-Checker von Rudra. Er sucht im Robots-Meta-Tag und im X-Robots-Tag-Header nach noindex und nofollow (oder none), prüft, ob die robots.txt die Seite sperrt, und vermerkt eine HTTP-Weiterleitung oder einen Fehlerstatus. Anschließend zeigt er ein einziges Urteil zur Indexierbarkeit samt Begründung. Außerdem meldet er eine noindex-Seite, deren Canonical woandershin zeigt, als Konflikt und weist auf Anweisungen wie nosnippet hin, die das Snippet einschränken: Sie verhindern die Indexierung nicht, verändern aber das Aussehen des Ergebnisses. Ein noindex kostet im SEO-Score 30 Punkte, weil es die Seite vollständig aus der Suche entfernt.

Für eine ganze Website zählt ein Website-Scan von Rudra die indexierbaren Seiten und die noindex-Seiten und meldet noindex-Seiten, die in Ihrer Sitemap aufgeführt sind. In der Google Search Console listet der Bericht „Seitenindexierung“ Seiten unter „Durch ‚noindex‘-Tag ausgeschlossen“ auf, und die URL-Prüfung zeigt, ob eine bestimmte URL indexiert werden kann.

Ein noindex entfernen

1. Finden Sie heraus, woher es stammt: aus dem Seitenquelltext (Meta-Tag), den Antwort-Headern (X-Robots-Tag), den CMS-Einstellungen, den Einstellungen des SEO-Plugins oder der Serverkonfiguration.
2. Entfernen Sie es an der Quelle und leeren Sie den Seiten- und den CDN-Cache.
3. Prüfen Sie die Live-Seite erneut, um sicherzugehen, dass sowohl das Tag als auch der Header verschwunden sind.
4. Vergewissern Sie sich, dass die Seite nicht in der robots.txt gesperrt ist und in Ihrer Sitemap steht.
5. Nutzen Sie in der Search Console die URL-Prüfung und beantragen Sie für wichtige Seiten die Indexierung. Das erneute Crawling kann trotzdem Tage oder Wochen dauern.