Im kompletten Juni 2015 habe ich diesen/meinen SEO-Blog nextlevelSEO.de auf Noindex gestellt. Mit diesem SEO-Test wollte ich eine Auswertung machen, wie schnell Suchmaschinen die Seiten aus dem Index entfernen und anschließend, wie schnell sie wieder in den Index kommen.
Es ist unbestritten, dass – sobald ein Suchmaschinen-Bot eine Seite mit Noindex untersucht – diese Seite auch nach kurzer Zeit aus dem Index entfernt wird. Dafür ist der robots-Meta-Tag mit dem Noindex-Wert schließlich da. Eine Seite soll nicht im Index der Suchmaschinen landen oder daraus wieder entfernt werden, darf aber von den Bots (wie dem Google Bot) untersucht werden und deren Links folgen.
Inhaltsverzeichnis
- 1 Ergebnisse des Noindex-Tests kompakt zusammengefasst
- 1.1 #1: „Ungefähr XXX Ergebnisse“ sind grundsätzlich verzerrt
- 1.2 #2: Artikel und Seiten werden zuerst entfernt
- 1.3 #3: Ein Monat reicht für die Deindexierung nicht aus!
- 1.4 #4: Ein Monat reicht für die Reindexierung (bei Weitem) nicht aus!
- 1.5 #5: Der Noindex kann sich auf eine einzelne URLs sehr spät auswirken
- 1.6 Noch mehr Interpretationen in der aktuellen Website Boosing #33
- 2 Ziele dieses Noindex-Tests
- 3 Auswertungen des Noindex-Tests
- 3.1 Seiten im Index der Suchmaschinen
- 3.2 Sistrix Sichtbarkeitsindex
- 3.3 Google Analytics: Organische Zugriffe (Sitzungen)
- 3.4 Google Analytics: Organische Zugriffe (Sitzungen nach Tagen)
- 3.4.1 Wie wird der Noindex umgesetzt in WordPress?
- 3.4.2 Tag 5: Erstmals massive Einbrüche von Keywords spürbar
- 3.4.3 Tag 8: Artikel reihenweise deindexiert
- 3.4.4 Tag 14: Sichtbarkeit auf Null gesunken
- 3.4.5 Tag 17: Halbzeit abgelaufen
- 3.4.6 Tag 22: I messed it up a little bit…
- 3.4.7 Tag 30: Endlich vorbei
Kurze Zusammenfassung der Ergebnisse
- #1: „Ungefähr XXX Ergebnisse“ sind grundsätzlich verzerrt
- #2: Artikel und Seiten werden zuerst entfernt
- #3: Ein Monat reicht für die Deindexierung nicht aus!
- #4: Ein Monat reicht für die Reindexierung (bei Weitem) nicht aus!
- #5: Der Noindex kann sich auf eine einzelne URLs sehr spät auswirken
Ziele und Messkriterien
- Ziele dieses Noindex-Tests
- Untersuchte Suchmaschinen
- Messkriterien und Kennzahlen
- Zeitraum und Ablauf des Noindex-Tests
- Noindex Tage-/Logbuch
Detaillierte Auswertungen des Noindex-Tests (für Nerds)
Ergebnisse des Noindex-Tests kompakt zusammengefasst
Im Folgenden nur kurz die Ergebnisse aus dem Test kompakt zusammengefasst. Die gesamten Auswertungen und Daten findest du weiter unten auf dieser Seite. → Die Zusammenfassung überspringen und gleich zu den Details gehen
Deswegen ist der Test nicht auf jede Domain automatisch übertragbar. Aber es zeigt zumindest vom Prinzip her, was passiert, wenn man eine komplette Domain auf Noindex setzt.
#1: „Ungefähr XXX Ergebnisse“ sind grundsätzlich verzerrt
Selbst bei einer site:-Abfrage in Google, Bing und Yahoo! sind die angezeigten Ergebnisse „Ungefähr XXX Ergebnisse (in Y.YY Sekunden)“ grundsätzlich als Hochrechnung anzusehen. Sie unterschieden sich aber teilweise immens von dem, was tatsächlich noch in den Indizes der Suchmaschinen zu finden war.
#2: Artikel und Seiten werden zuerst entfernt
Nimmt man speziell WordPress an und in diesem Fall diese Case Study am Projekt nextlevelSEO.de, so sind zu Beginn des Tests vermehrt WordPress-Seiten und -Artikel aus dem Index entfernt worden als Kategorie-Seiten oder andere Inhalte (wie Schlagwörter-Seiten oder Seiten für Medienanhänge).
Das ist logisch aus zwei Gründen:
- Gegenüber den Kategorieseiten, Schlagwörterseiten und Medien-Anhangseiten sind Artikel und Seiten deutlich stärker und von wichtigeren anderen URLs verlinkt. Der Google Bot und der Bing Bot schauen hier natürlich häufiger vorbei als auf URLs, die weniger bis fast gar nicht verlinkt wurden.
- Artikel und Seiten in WordPress können sich deutlicher ändern als Kategorieseiten, Schlagwörterseiten oder eben Medien-Anhangseiten. Auf Artikel können z. B. Kommentare hinterlassen werden, aber auf Medien-Anhangseiten eben nicht. Rein von der Logik her macht es Sinn für die Bots, diese Artikel häufiger zu crawlen als eine Kategorieseite auf Seite 8 oder eben einer Medien-Anhangseite, die sich im Prinzip selten bis gar nicht ändert.
#3: Ein Monat reicht für die Deindexierung nicht aus!
Im kompletten Juni wurde die Domain nextlevelSEO.de auf Noindex gesetzt. Obwohl es regelmäßig „Abstürze“ gab in Bezug auf die Anzahl der Seiten in den Indizes der Suchmaschinen, so gab es aber leider nie einen Zeitpunkt innerhalb eines Monats, bei dem alle URLs komplett aus dem Index gekickt wurden. Irgendwelche URLs waren bis zum Schluss immer noch im Index.
Möchte man den Prozess also beschleunigen, führt kein Weg z. B. an der Google Search Console vorbei (früher Google Webmastertools). In der Google Search Console kann man unter Google-Index → URLs entfernen entsprechend die Startseite und alle Unterseiten beantragen, dass sie aus den Suchergebnissen entfernt werden. Das kann die Deindexierung weiter beschleunigen.
#4: Ein Monat reicht für die Reindexierung (bei Weitem) nicht aus!
Am 1. Juli wurde dann der Noindex von allen Seiten entfernt. Im kompletten Juli konnte ich also testen, wie schnell alle Seiten wieder in den Index der Suchmaschinen aufgenommen werden. Und kurz gesagt, es war ein „Pain in The Ass„.
Unter gleichen Bedingungen wie vorher – den Suchmaschinen wurde also nichts per Webmaster Tools übermittelt – kamen die URLs nur sehr spärlich wieder in den Index. Selbst heute, am 6. August, mit der Übermittlung der XML-Sitemap in der Google-Search Console am 1. August und mit manuellen Crawls befindet sich nicht einmal die Hälfte aller URLs wieder im Google Index.
Möchte man also möglichst schnell alle Seiten (wieder) im Index der Suchmaschinen haben, sollte man eine aktuelle XML-Sitemap hinterlegen und diese per Google Search Console bzw. den Bing Webmastertools übermitteln.
#5: Der Noindex kann sich auf eine einzelne URLs sehr spät auswirken
So als Fazit kann man für einzelne URLs sagen: Je häufiger sie intern wie auch extern verlinkt werden, je häufiger ein Suchmaschinen-Bot diese Unterseite besucht, umso schneller ist eine Deindexierung aus den Suchmaschinen wahrscheinlich. Allerdings ist das stark abhängig von der Domain selbst und möglicherweise vom Seiten-Typus (z. B. Artikel und Seiten schneller als Kategorieseiten).
Von dem her kann ein Noindex real zwischen einigen Stunden bei großen Projekten bis mehrere Wochen bei kleinen Projekten dauern, bis sie für eine URL wirken.
Noch mehr Interpretationen in der aktuellen Website Boosing #33
Noch weitere Anmerkungen zu den Testergebnissen und Ableitungen daraus findest du in der aktuellen Ausgabe der Website Boosing #33. Dort beschreibe ich diesen Noindex-Test und zwei weitere Tests zur robots.txt-Datei und zum Nofollow-Attribut.
Preis: 9,80 Euro (+Porto)
Ziele dieses Noindex-Tests
In diesem Test geht es aber um etwas anderes. Nicht, ob Seiten aus dem Index genommen werden. Sondern, wie lange es dauert eine komplette Domain per Noindex aus den Indizes zu kicken, ohne Fremdeinwirkung. Wie lange dauert es bei Google, Bing und Yahoo!, bis sie alle Seiten neu gecrawlt haben und bis sie alle Seiten aus ihrem Index entfernt haben?
Und im Nachgang: Wie lange dauert es, bis sie die Seiten (möglichst alle) wieder komplett im Index aufgenommen haben werden?
Dabei wäre ein Einfluss meinerseits gegenüber Suchmaschinen natürlich fehl am Platze. Deswegen werde ich im kompletten Juni und Juli keine Aktionen tätigen, die die Suchmaschinen beeinträchtigen könnten. Keine Aktionen in den Webmastertools, keine aktualisierten XML Sitemap, auch keine neuen Artikel. Nichts. Nur die Aktualisierungen in diesem Artikel.
Kurz zur Basis und den Testumgebungen auf nextlevelSEO.de:
Heute hat Google noch 538, Bing 349 und Yahoo! noch 348 Seiten in ihren Indizes. Eine Domain-Pop von 118 laut Sistrix, dazu eine Sichtbarkeit bei Sistrix von 0,1357 (Smartphone: 0,2233). Vor Beginn des Tests befanden sich 1.716 Keywords laut Sistrix in den Top 100.
Ich bin gespannt, wie sich das entwickeln wird. 😉
- Quicklink nach unten: Zur Auswertung mit tagesaktuellen Daten
Geprüft werden dabei die Suchmaschinen:
- Google (Google.de)
- Bing (Bing.com/?cc=de)
- Yahoo! (de.Yahoo.com)
Als Messlatten für den Noindex-Test nehme ich:
- site:-Abfragen in den Suchmaschinen
- Sistrix Sichtbarkeitsindex
- Sistrix: Anzahl gefundener Keywords in Top 100
- Google Analytics Sitzungen (nur organisch)
Zeitraum und Ablauf des Noindex-Tests:
- Alle Inhalte werden am 31.05.2015 gegen 20:00 Uhr auf Noindex gesetzt
- Alle Inhalte verbleiben auf Noindex bis zum 30.06.2015, 20:00 Uhr
- Jeden Tag werde ich gegen 20:00 Uhr site:-Abfragen in den Suchmaschinen durchführen und dazu die organischen Seitenaufrufe über Google Analytics des vorherigen Tages tracken. Diese werde ich tabellarisch und anschließend in Charts verarbeiten.
- Nach Ablauf des Juni – also wenn alle Seiten wieder auf Index gesetzt werden – werde ich einen Monat lang die Auswertung zu diesem Noindex-Test fortführen. Um zu messen, wie schnell sich die Indexierung der Inhalte wieder „erholt“.
- In den Testzeiträumen (Juni und Juli) werde ich in der Google Search Console (formals Google Webmastertools) keinerlei Aktionen durchführen, die den Bot schneller auf meine Seite bringen würden. Wie etwa „Abruf wie durch Google“. Gleiches gilt natürlich auch für die Bing Webmastertools.
- Die XML Sitemaps werden aus der Google Search Console für den Testzeitraum gelöscht. Ebenso werden die XML Sitemaps bei den Bing Webmastertools gelöscht.
- Alle Daten versuche ich täglich und jeweils um 20:00 Uhr einzusammeln.
Das heißt auch, dass ich in diesem Zeitraum keine neuen Artikel veröffentlichen und keinen Kommentar freischalten werde. Diese werden dann im Juli veröffentlicht.
Da der Test über zwei Monate geht und ich die Daten hier täglich aktualisiere, kannst du hier regelmäßig vorbei schauen. Wie gesagt, ich aktualisiere die Daten täglich. 😉
Ab hier folgen dann die Daten (und später auch erste Charts zu den Auswertungen).
Auswertungen des Noindex-Tests
Im Folgenden nun die Auswertungen des Noindex-Tests. Diese werden im Testzeitraum Juni und Juli 2015 einmal täglich aktualisiert.
Seiten im Index der Suchmaschinen
site:-Abfragen in den Suchmaschinen Google.de, Bing und Yahoo!
Datum | Bing | Yahoo! | |
---|---|---|---|
29.05.2015 | 538 | 349 | 348 |
30.05.2015 | 531 | 348 | 349 |
31.05.2015 | 525 | 349 | 348 |
01.06.2015 | 521 | 348 | 346 |
02.06.2015 | 552 | 348 | 348 |
03.06.2015 | 518 | 348 | 346 |
04.06.2015 | 496 | 284 | 284 |
05.06.2015 | 460 | 286 | 283 |
06.06.2015 | 408 | 284 | 284 |
07.06.2015 | 389 | 141 | 283 |
08.06.2015 | 395 | 283 | 283 |
09.06.2015 | 381 | 283 | 283 |
10.06.2015 | 379 | 283 | 283 |
11.06.2015 | 415 | 90 | 90 |
12.06.2015 | 188 | 103 | 283 |
13.06.2015 | 146 | 90 | 90 |
14.06.2015 | 134 | 90 | 90 |
15.06.2015 | 146 | 103 | 48 |
16.06.2015 | 91 | 103 | 44 |
17.06.2015 | 105 | 103 | 48 |
18.06.2015 | 129 | 35 | 35 |
19.06.2015 | 102 | 40 | 48 |
20.06.2015 | 124 | 35 | 35 |
21.06.2015 | 100 | 35 | 35 |
22.06.2015 | 51* / 99 | 37 | 31 |
23.06.2015 | 51 / 114 | 23 | 31 |
24.06.2015 | 61 / 94 | 23 | 31 |
25.06.2015 | 48 / 110 | 23 | 31 |
26.06.2015 | 58 / 89 | 23 | 31 |
27.06.2015 | 58 / 89 | 23 | 31 |
28.06.2015 | 38 / 87 | 18 | 18 |
29.06.2015 | 56 / 87 | 18 | 18 |
30.06.2015 | 32 / 89 | 18 | 18 |
01.07.2015 | 34 / 95 | 18 | 18 |
02.07.2015 | 56 / 87 | 18 | 14 |
03.07.2015 | 56 / 92 | 14 | 14 |
04.07.2015 | 61 / 93 | 15 | 14 |
05.07.2015 | 60 / 95 | 15 | 14 |
06.07.2015 | 60 / 91 | 15 | 14 |
07.07.2015 | 58 / 38 | 23 | 23 |
08.07.2015 | 56 / 86 | 23 | 29 |
09.07.2015 | 55 / 87 | 23 | 29 |
10.07.2015 | 32 / 84 | 6 | 29 |
11.07.2015 | 53 / 85 | 42 | 42 |
12.07.2015 | 36 / 83 | 42 | 42 |
13.07.2015 | 36 / 83 | 42 | 42 |
14.07.2015 | 70 / 102 | 42 | 42 |
15.07.2015 | 71 / 119 | 62 | 63 |
16.07.2015 | 115 / 142 | 62 | 62 |
17.07.2015 | 115 / 142 | 62 | 62 |
18.07.2015 | 118 / 165 | 62 / 75 | 78 / 62 |
19.07.2015 | 123 / 171 | 78 / 79 | 78 / 79 |
20.07.2015 | 131 / 178 | 79 / 299 | 74 / 75 |
21.07.2015 | 154 / 179 | 79 / 299 | 78 / 79 |
22.07.2015 | 155 / 181 | 79 / 299 | 84 |
23.07.2015 | 163 / 182 | 85 / 204 | 85 / 86 |
24.07.2015 | 163 / 182 | 85 / 205 | 85 / 86 |
25.07.2015 | 166 / 186 | 90 / 91 | 90 / 91 |
26.07.2015 | 164 / 184 | 90 / 91 | 90 / 91 |
27.07.2015 | 154 / 183 | 90 / 375 | 90 / 375 |
28.07.2015 | 164 / 184 | 90 / 375 | 90 / 91 |
29.07.2015 | 163 / 184 | 90 / 375 | 90 / 91 |
30.07.2015 | 161 / 182 | 92 / 378 | 93 / 93 |
31.07.2015 | 161 / 181 | 93 / 93 | 93 / 93 |
Sistrix Sichtbarkeitsindex
Der Sistrix Sichtbarkeitsindex setzt sich ja bekanntermaßen aus den Suchergebnissen der Google-Suche zusammen (hier: deutsch). Kurz gesagt: Je mehr Keywords ich mit hohem Suchvolumen und besseren Positionen habe, desto höher ist meine Sichtbarkeit im Netz. Das hier ist also der Verlauf der Sichtbarkeit von Sistrix für nextlevelSEO.de und die Anzahl der Keywords in den Top 100:

Suchmaschinen Noindex Test: Auswertung der Sistrix Sichtbarkeit und der in Sistrix gefundenen Keywords
Woche | SI normal | SI mobile | Anzahl Keywords |
---|---|---|---|
KW 18 | 0,1639 | 0,1975 | — |
KW 19 | 0,1362 | 0,2098 | — |
KW 20 | 0,1323 | 0,2002 | — |
KW 21 | 0,1404 | 0,1458 | — |
KW 22 | 0,1357 | 0,2233 | 1.716 |
KW 23 | 0,2026 | 0,2188 | 1.730 |
KW 24 | 0,0633 | 0,0365 | 1.662 |
KW 25 | 0 | 0 | 956 |
KW 26 | 0 | 0 | 718 |
KW 27 | 0 | 0 | 338 |
KW 28 | 0 | 0 | 96 |
KW 29 | 0,0404 | 0,0554 | 142 |
KW 30 | 0,0515 | 0,0632 | 298 |
Google Analytics: Organische Zugriffe (Sitzungen)
Das sind die organischen Sitzungen auf nextlevelSEO.de.
Diese Sitzungen möchte ich zuerst in Kalenderwochen zusammenführen. Denn gerade am Wochenende oder an Feiertagen habe ich grundsätzlich viel weniger Traffic. Um also eine gute Schnittmenge zu berechnen, verwende ich hier lieber zuerst Kalenderwochen. Ihr könnt euch aber auch die einzelnen Tage gerne weiter unten im Akkordeon anschauen.
Tipp für dich als Smartphone-Nutzer: Drehe dein Smartphone horizontal, um auch die Tabellen-Spalten von Bing und Yahoo! zu sehen. Diese werden vertikal nicht ausgegeben, weil die Tabellen sonst zu breit wären. #ResponsiveContentleidergeil 😉
Woche | Gesamt | ± ges. | Bing | Yahoo! | |
---|---|---|---|---|---|
KW 19 | 2.478 | — | 2.471 | 5 | 1 |
KW 20 | 2.404 | -3,0% | 2.390 | 9 | 2 |
KW 21 | 2.564 | +6,7% | 2.553 | 7 | 2 |
KW 22 | 2.477 | -3,4% | 2.467 | 5 | 2 |
KW 23 | 1.385 | -44,1% | 1.374 | 6 | 2 |
KW 24 | 171 | -87,7% | 171 | 0 | 0 |
KW 25 | 127 | -25,7% | 126 | 1 | 0 |
KW 26 | 95 | -25,2% | 95 | 0 | 0 |
KW 27 | 174 | +83,6% | 173 | 1 | 0 |
KW 28 | 658 | +378,2% | 647 | 6 | 4 |
KW 29 | 845 | +28,4% | 832 | 9 | 4 |
KW 30 | 1.256 | +48,6% | 1.240 | 10 | 4 |
Google Analytics: Organische Zugriffe (Sitzungen nach Tagen)
Öffne das Akkordeon, wenn du dir auch die Sitzungen auf nextlevelSEO.de nach einzelnen Tagen ansehen willst:
Wie wird der Noindex umgesetzt in WordPress?
Mittels Yoast SEO Plugin kann ich alle WordPress-Inhalte mit einem Schlag auf Noindex setzen, ohne diese gleichzeitig per robots.txt zu blockieren. Das ist der sicherste Weg, um alle Inhalte auf Noindex zu setzen, ohne auch nur eine Seite per robots.txt zu blockieren. Das könnte sonst nur unnötig die Testergebnisse verfälschen. (Mehr dazu siehe: → SEO Test: Liest Google per robots.txt gesperrte Inhalte aus?)
Joah. Sonst gibt es hier noch nicht viel zu sehen. Und schon gar kein Fazit. Aber was du machen kannst ist, diesen Inhalt per RSS zu abonnieren. So siehst du täglich Neuerungen aus diesem Test. 😉
Was denkst du? Schafft es Google, Bing oder Yahoo!, alle Seiten bis Ende Juni aus dem Index zu kicken? Schreib es mir unten als Kommentar rein. Ich freue mich (auch wenn ich deinen Kommentar erst im Juli freischalten werde). 🙂
Schöne Grüße
Pascal
Und für den Fall, dass einer fragt „Warum?“
Da gibt es eine Antwort: Weil ich es kann.“ Fertig. 😀
Sehr mutig, alles auf Noindex zu stellen. Bin sehr gespannt auf das Ergebnis! Noch gespannter allerdings, wie schnell die Suchmaschinen wieder neu indexieren. Bis in einem Monat dann!
Danke für den Test, bin gespannt auf die Ergebnisse. Kannst da ja ne kleine Wette draus machen 😉
Ich tippe: Google hat die Seiten schon in weniger als 2 Wochen aus dem Index geworfen – und die Reindexierung dauert zwischen 2 Tagen (für die wichtigsten Seiten) und 4 Wochen.
Das Warum ist ja bereits beantwortet, aber:
Was auch immer dabei herauskommt – was bringt die Information wie lange es ohne Einwirkung bei Bing dauert, etc..?
Interessante Idee 🙂 Ich denke dass Google und die anderen Suchmaschinen die Seiten wieder ziemlich schnell im Index haben, da es nicht gerade ein Nischen-Nischen-Thema ist wo das Ganze sicherlich länger dauern würde. Ich denke es liegt in der Regel an dem Thema einer Seite und wie stark die Seite bei Google in den SERPS vertreten ist. Bei einer Seite mit weniger guten Rankings zu einem Nischenthema, dauert es sicherlich deutlich mehr Zeit bis die Crawler wieder vorbeischauen. Bei dieser Seite tippe ich auch auf wenige Tage bis 1 Woche bis der größte Teil wieder indexiert sein wird.
Ich liebe solche Tests, die man nicht selbst durchführen muss. 😉
Danke für dieses Wagnis, Pascal.
Ich denke, dass die Seiten spätestens in vier Wochen wieder im im Index sind. Richtig interessant finde ich die Erkenntnis, wann das Ranking wieder zurückkehrt. Äußerst spannend.
Beste Grüße
Steve
Danke Dir für diese ausführliche Darstellung. Es scheint hier einen Verzögerungseffekt zu geben, wobei Google bestimmt auch schneller könnte.
Ist der Traffic jetzt eigentlich wieder so hoch wie früher im Google Analytics? Im Sistrix – der hat ja auch nur eine eingeschränkte Aussagekraft – scheint die Erholung noch anzudauern.
VG
Maik