SEO: Der Noindex-Test auf nextlevelSEO.de

Im kompletten Juni 2015 habe ich diesen/meinen SEO-Blog nextlevelSEO.de auf Noindex gestellt. Mit diesem SEO-Test wollte ich eine Auswertung machen, wie schnell Suchmaschinen die Seiten aus dem Index entfernen und anschließend, wie schnell sie wieder in den Index kommen.

Es ist unbestritten, dass – sobald ein Suchmaschinen-Bot eine Seite mit Noindex untersucht – diese Seite auch nach kurzer Zeit aus dem Index entfernt wird. Dafür ist der robots-Meta-Tag mit dem Noindex-Wert schließlich da. Eine Seite soll nicht im Index der Suchmaschinen landen oder daraus wieder entfernt werden, darf aber von den Bots (wie dem Google Bot) untersucht werden und deren Links folgen.

Ergebnisse des Noindex-Tests kompakt zusammengefasst

Im Folgenden nur kurz die Ergebnisse aus dem Test kompakt zusammengefasst. Die gesamten Auswertungen und Daten findest du weiter unten auf dieser Seite. → Die Zusammenfassung überspringen und gleich zu den Details gehen

#1: „Ungefähr XXX Ergebnisse“ sind grundsätzlich verzerrt

SEO Noindex Test: Seite 1 mit ungefähr 99 Ergebnissen

Selbst bei einer site:-Abfrage in Google, Bing und Yahoo! sind die angezeigten Ergebnisse „Ungefähr XXX Ergebnisse (in Y.YY Sekunden)“ grundsätzlich als Hochrechnung anzusehen. Sie unterschieden sich aber teilweise immens von dem, was tatsächlich noch in den Indizes der Suchmaschinen zu finden war.

#2: Artikel und Seiten werden zuerst entfernt

Nimmt man speziell WordPress an und in diesem Fall diese Case Study am Projekt nextlevelSEO.de, so sind zu Beginn des Tests vermehrt WordPress-Seiten und -Artikel aus dem Index entfernt worden als Kategorie-Seiten oder andere Inhalte (wie Schlagwörter-Seiten oder Seiten für Medienanhänge).

Das ist logisch aus zwei Gründen:

• Gegenüber den Kategorieseiten, Schlagwörterseiten und Medien-Anhangseiten sind Artikel und Seiten deutlich stärker und von wichtigeren anderen URLs verlinkt. Der Google Bot und der Bing Bot schauen hier natürlich häufiger vorbei als auf URLs, die weniger bis fast gar nicht verlinkt wurden.
• Artikel und Seiten in WordPress können sich deutlicher ändern als Kategorieseiten, Schlagwörterseiten oder eben Medien-Anhangseiten. Auf Artikel können z. B. Kommentare hinterlassen werden, aber auf Medien-Anhangseiten eben nicht. Rein von der Logik her macht es Sinn für die Bots, diese Artikel häufiger zu crawlen als eine Kategorieseite auf Seite 8 oder eben einer Medien-Anhangseite, die sich im Prinzip selten bis gar nicht ändert.

#3: Ein Monat reicht für die Deindexierung nicht aus!

Im kompletten Juni wurde die Domain nextlevelSEO.de auf Noindex gesetzt. Obwohl es regelmäßig „Abstürze“ gab in Bezug auf die Anzahl der Seiten in den Indizes der Suchmaschinen, so gab es aber leider nie einen Zeitpunkt innerhalb eines Monats, bei dem alle URLs komplett aus dem Index gekickt wurden. Irgendwelche URLs waren bis zum Schluss immer noch im Index.

Möchte man den Prozess also beschleunigen, führt kein Weg z. B. an der Google Search Console vorbei (früher Google Webmastertools). In der Google Search Console kann man unter Google-Index → URLs entfernen entsprechend die Startseite und alle Unterseiten beantragen, dass sie aus den Suchergebnissen entfernt werden. Das kann die Deindexierung weiter beschleunigen.

#4: Ein Monat reicht für die Reindexierung (bei Weitem) nicht aus!

Am 1. Juli wurde dann der Noindex von allen Seiten entfernt. Im kompletten Juli konnte ich also testen, wie schnell alle Seiten wieder in den Index der Suchmaschinen aufgenommen werden. Und kurz gesagt, es war ein „Pain in The Ass„.

Unter gleichen Bedingungen wie vorher – den Suchmaschinen wurde also nichts per Webmaster Tools übermittelt – kamen die URLs nur sehr spärlich wieder in den Index. Selbst heute, am 6. August, mit der Übermittlung der XML-Sitemap in der Google-Search Console am 1. August und mit manuellen Crawls befindet sich nicht einmal die Hälfte aller URLs wieder im Google Index.

Möchte man also möglichst schnell alle Seiten (wieder) im Index der Suchmaschinen haben, sollte man eine aktuelle XML-Sitemap hinterlegen und diese per Google Search Console bzw. den Bing Webmastertools übermitteln.

#5: Der Noindex kann sich auf eine einzelne URLs sehr spät auswirken

So als Fazit kann man für einzelne URLs sagen: Je häufiger sie intern wie auch extern verlinkt werden, je häufiger ein Suchmaschinen-Bot diese Unterseite besucht, umso schneller ist eine Deindexierung aus den Suchmaschinen wahrscheinlich. Allerdings ist das stark abhängig von der Domain selbst und möglicherweise vom Seiten-Typus (z. B. Artikel und Seiten schneller als Kategorieseiten).

Von dem her kann ein Noindex real zwischen einigen Stunden bei großen Projekten bis mehrere Wochen bei kleinen Projekten dauern, bis sie für eine URL wirken.

Noch mehr Interpretationen in der aktuellen Website Boosing #33

Noch weitere Anmerkungen zu den Testergebnissen und Ableitungen daraus findest du in der aktuellen Ausgabe der Website Boosing #33. Dort beschreibe ich diesen Noindex-Test und zwei weitere Tests zur robots.txt-Datei und zum Nofollow-Attribut.

Preis: 9,80 Euro (+Porto)

• Mehr Infos zur Ausgabe
• Abonnement der Website Boosting

Ziele dieses Noindex-Tests

In diesem Test geht es aber um etwas anderes. Nicht, ob Seiten aus dem Index genommen werden. Sondern, wie lange es dauert eine komplette Domain per Noindex aus den Indizes zu kicken, ohne Fremdeinwirkung. Wie lange dauert es bei Google, Bing und Yahoo!, bis sie alle Seiten neu gecrawlt haben und bis sie alle Seiten aus ihrem Index entfernt haben?

Und im Nachgang: Wie lange dauert es, bis sie die Seiten (möglichst alle) wieder komplett im Index aufgenommen haben werden?

Dabei wäre ein Einfluss meinerseits gegenüber Suchmaschinen natürlich fehl am Platze. Deswegen werde ich im kompletten Juni und Juli keine Aktionen tätigen, die die Suchmaschinen beeinträchtigen könnten. Keine Aktionen in den Webmastertools, keine aktualisierten XML Sitemap, auch keine neuen Artikel. Nichts. Nur die Aktualisierungen in diesem Artikel.

Kurz zur Basis und den Testumgebungen auf nextlevelSEO.de:

Heute hat Google noch 538, Bing 349 und Yahoo! noch 348 Seiten in ihren Indizes. Eine Domain-Pop von 118 laut Sistrix, dazu eine Sichtbarkeit bei Sistrix von 0,1357 (Smartphone: 0,2233). Vor Beginn des Tests befanden sich 1.716 Keywords laut Sistrix in den Top 100.

Ich bin gespannt, wie sich das entwickeln wird. 😉

• Quicklink nach unten: Zur Auswertung mit tagesaktuellen Daten

Geprüft werden dabei die Suchmaschinen:

• Google (Google.de)
• Bing (Bing.com/?cc=de)
• Yahoo! (de.Yahoo.com)

Als Messlatten für den Noindex-Test nehme ich:

• site:-Abfragen in den Suchmaschinen
• Sistrix Sichtbarkeitsindex
• Sistrix: Anzahl gefundener Keywords in Top 100
• Google Analytics Sitzungen (nur organisch)

Zeitraum und Ablauf des Noindex-Tests:

• Alle Inhalte werden am 31.05.2015 gegen 20:00 Uhr auf Noindex gesetzt
• Alle Inhalte verbleiben auf Noindex bis zum 30.06.2015, 20:00 Uhr
• Jeden Tag werde ich gegen 20:00 Uhr site:-Abfragen in den Suchmaschinen durchführen und dazu die organischen Seitenaufrufe über Google Analytics des vorherigen Tages tracken. Diese werde ich tabellarisch und anschließend in Charts verarbeiten.
• Nach Ablauf des Juni – also wenn alle Seiten wieder auf Index gesetzt werden – werde ich einen Monat lang die Auswertung zu diesem Noindex-Test fortführen. Um zu messen, wie schnell sich die Indexierung der Inhalte wieder „erholt“.
• In den Testzeiträumen (Juni und Juli) werde ich in der Google Search Console (formals Google Webmastertools) keinerlei Aktionen durchführen, die den Bot schneller auf meine Seite bringen würden. Wie etwa „Abruf wie durch Google“. Gleiches gilt natürlich auch für die Bing Webmastertools.
• Die XML Sitemaps werden aus der Google Search Console für den Testzeitraum gelöscht. Ebenso werden die XML Sitemaps bei den Bing Webmastertools gelöscht.
• Alle Daten versuche ich täglich und jeweils um 20:00 Uhr einzusammeln.

Das heißt auch, dass ich in diesem Zeitraum keine neuen Artikel veröffentlichen und keinen Kommentar freischalten werde. Diese werden dann im Juli veröffentlicht.

Da der Test über zwei Monate geht und ich die Daten hier täglich aktualisiere, kannst du hier regelmäßig vorbei schauen. Wie gesagt, ich aktualisiere die Daten täglich. 😉

Ab hier folgen dann die Daten (und später auch erste Charts zu den Auswertungen).

Auswertungen des Noindex-Tests

Im Folgenden nun die Auswertungen des Noindex-Tests. Diese werden im Testzeitraum Juni und Juli 2015 einmal täglich aktualisiert.

Seiten im Index der Suchmaschinen

site:-Abfragen in den Suchmaschinen Google.de, Bing und Yahoo!

Suchmaschinen Noindex Test: Auswertung der Suchergebnisse

Sistrix Sichtbarkeitsindex

Der Sistrix Sichtbarkeitsindex setzt sich ja bekanntermaßen aus den Suchergebnissen der Google-Suche zusammen (hier: deutsch). Kurz gesagt: Je mehr Keywords ich mit hohem Suchvolumen und besseren Positionen habe, desto höher ist meine Sichtbarkeit im Netz. Das hier ist also der Verlauf der Sichtbarkeit von Sistrix für nextlevelSEO.de und die Anzahl der Keywords in den Top 100:

Suchmaschinen Noindex Test: Auswertung der Sistrix Sichtbarkeit und der in Sistrix gefundenen Keywords

Google Analytics: Organische Zugriffe (Sitzungen)

Das sind die organischen Sitzungen auf nextlevelSEO.de.

Suchmaschinen Noindex Test: Auswertung der organischen Sitzungen aus Google Analytics (nach Tagen)

Diese Sitzungen möchte ich zuerst in Kalenderwochen zusammenführen. Denn gerade am Wochenende oder an Feiertagen habe ich grundsätzlich viel weniger Traffic. Um also eine gute Schnittmenge zu berechnen, verwende ich hier lieber zuerst Kalenderwochen. Ihr könnt euch aber auch die einzelnen Tage gerne weiter unten im Akkordeon anschauen.

Tipp für dich als Smartphone-Nutzer: Drehe dein Smartphone horizontal, um auch die Tabellen-Spalten von Bing und Yahoo! zu sehen. Diese werden vertikal nicht ausgegeben, weil die Tabellen sonst zu breit wären. #ResponsiveContentleidergeil 😉

Google Analytics: Organische Zugriffe (Sitzungen nach Tagen)

Öffne das Akkordeon, wenn du dir auch die Sitzungen auf nextlevelSEO.de nach einzelnen Tagen ansehen willst:

Wie wird der Noindex umgesetzt in WordPress?

Mittels Yoast SEO Plugin kann ich alle WordPress-Inhalte mit einem Schlag auf Noindex setzen, ohne diese gleichzeitig per robots.txt zu blockieren. Das ist der sicherste Weg, um alle Inhalte auf Noindex zu setzen, ohne auch nur eine Seite per robots.txt zu blockieren. Das könnte sonst nur unnötig die Testergebnisse verfälschen. (Mehr dazu siehe: → SEO Test: Liest Google per robots.txt gesperrte Inhalte aus?)

Joah. Sonst gibt es hier noch nicht viel zu sehen. Und schon gar kein Fazit. Aber was du machen kannst ist, diesen Inhalt per RSS zu abonnieren. So siehst du täglich Neuerungen aus diesem Test. 😉

Was denkst du? Schafft es Google, Bing oder Yahoo!, alle Seiten bis Ende Juni aus dem Index zu kicken? Schreib es mir unten als Kommentar rein. Ich freue mich (auch wenn ich deinen Kommentar erst im Juli freischalten werde). 🙂

Noindex Tage-/Logbuch

Tag 5: Erstmals massive Einbrüche von Keywords spürbar

05.06.2015: Auch ich tracke ein paar Keywords zu meinen geschriebenen Inhalten. Heute am siebten Testtag habe ich darin erstmals schwere Veränderungen festgestellt, wie diese Grafik zeigt:

Noindex Test: Rankingverluste am 7. Tag

Gerade böse: Meine beiden stärksten organischen Seiten – die Startseite und die HTML-Sonderzeichentabelle – hat es jetzt aus dem Google Index gekickt. Ebenso ist der bisherige organische Traffic am heutigen Tag massiv in den Keller gesackt. Wenn es keine Absicht wäre, wäre das schon ein schwarzer Tag für mich… 😉

Tag 8: Artikel reihenweise deindexiert

Ein Großteil der Artikel – also der WordPress Artikel – scheint wohl aus dem Index verschwunden zu sein. Ein paar sehr wichtige Seiten – also WordPress Seiten – ebenfalls.

Was auffällt ist, dass paginierende Seiten und Kategorie-/Schlagwörterseiten noch großflächig drin sind. Dazu auch Anhang-Seiten für Medieninhalte. Klar, da schneit der Bot wohl viel seltener vorbei als auf dynamischen Artikeln, in denen regelmäßig neue Kommentare hinzugefügt werden können.

Tag 14: Sichtbarkeit auf Null gesunken

Zumindest was die Sistrix Sichtbarkeit betrifft, habe ich das Ziel erreicht. Während es nahezu keine elementaren Rankings mehr gibt, finden sich immer noch 956 Suchbegriffe irgendwo in den Top 100 vor.

Ebenso interessant ist der starke Abfall der Seiten im Index, der bei allen Suchmaschinen etwa zum 11. und 12. Testtag stattgefunden hatte. Darin sind nur noch ganz vereinzelt Inhaltsseiten oder Artikel zu finden; der absolute Großteil der jetzt noch indizierten Seiten sind Kategorie-/Schlagwörterseiten sowie deren paginierenden Seiten und Medienanhänge/Attachements, die eine eigene Unterseite haben.

Tag 17: Halbzeit abgelaufen

Der aktuelle Stand und mein Eindruck zum Nofollow-Test sind etwas ernüchternd. Klar, meine Sichtbarkeit ist im Keller und es kommen kaum noch organische Besucher rüber. Dennoch halten sich einige Seiten nach wie vor hartnäckig in den SERPs von Google und Bing. Vor allem eben Kategorie-/Schlagwörter-/Anhang- und paginierende Seiten kommen einfach nicht raus, weil sie die Suchmaschinen nicht regelmäßig crawlen (im Gegensatz zu den Artikeln und Seiten selbst).

Das ist zwar alles im Rahmen des Erwartbaren, aber dennoch hatte ich mir insgeheim eine noch schnellere Entfernung erhofft. Insbesondere bei den Anhangsseiten.

Dennoch auch etwas überraschendes: Ich finde es faszinierend, wie manchmal die Suchergebnisse von Tag zu Tag doch wieder mal nach oben springen können. Die Abfrageform ist immer die Gleiche (Google Chrome Browser im Inkognito-Modus). Und trotzdem sind per site-Abfrage an manchen Tagen mehr Seiten wieder im Index, als am Vortag. Was schnell wieder korrigiert wird, aber immerhin.

Und: Bis jetzt gibt es immer noch organische Besucher. Was die gesucht haben um meine Seiten zu finden…?

Aber jetzt hoffe ich, dass die restliche Halbzeit auch noch schnell vorbei geht. Wenn mein Blog kaum Besucher hat, fühlt sich das so merkwürdig an… 😉

Tag 22: I messed it up a little bit…

Als ich mich heute gewundert habe, warum noch so viele Seiten im Index bei Google waren, habe ich mich nochmal durch die Google SERPs gequält. Dabei ist mir aufgefallen, dass trotzdem noch ca. 100 Ergebnisse ausgespuckt wurden:

SEO Noindex Test: Seite 1 mit ungefähr 99 Ergebnissen

Wenn ich mich aber durch die Seiten durchklicke, ändern sich die Ergebnisse drastisch:

SEO Noindex Test: Auf Seite 6 nur noch ungefähr 63 Ergebnisse

Bisher bin ich davon ausgegangen, dass bei einer kleinen Seite wie nextlevelSEO.de mit paar hundert Seiten im Index sich die ungefähre Anzahl der Ergebnisse stark konstant verhält, auch wenn ich auf die paginierenden Unterseiten von Google (Seite 2 bis X) klicke. Das scheint aber definitiv nicht der Fall zu sein.

Von dem her werde ich ab heute nicht mehr die Anzahl der Ergebnisse der ersten Seite tracken, sondern immer die Anzahl der letzten Seite.

Tag 30: Endlich vorbei

Endlich kann ich meinen Blog wieder auf Index setzen. Einen ganzen Monat mit Zahlen, die in den Keller gehen, ist schon etwas hart für’s SEO-Herz. Die Daten sind da, jetzt muss ich sie nur noch zusammenstellen.

Als Fazit kann man aber festhalten: Keine der Suchmaschinen Google, Bing und Yahoo! haben es geschafft, alle Seiten nach einem Monat aus dem Index zu entfernen.

Der Test ist aber nur in der Halbzeit. Nun ist die Frage, wie schnell die Seiten wieder in den Index kommen. Ohne Einreichung einer XML-Sitemap, ohne „Abfrage wie durch Google“… sondern ganz natürlich.

Schöne Grüße

Pascal