SEO: Der Noindex-Test auf nextlevelSEO.de

SEO Test zu Noindex: Im Juni 2015 ist mein Blog auf Noindex gestellt. Wie schnell nehmen Suchmaschinen die Inhalte aus dem Index? ➨ Zur Live-Analyse

Im kompletten Juni 2015 habe ich diesen/meinen SEO-Blog nextlevelSEO.de auf Noindex gestellt. Mit diesem SEO-Test wollte ich eine Auswertung machen, wie schnell Suchmaschinen die Seiten aus dem Index entfernen und anschließend, wie schnell sie wieder in den Index kommen.

Es ist unbestritten, dass – sobald ein Suchmaschinen-Bot eine Seite mit Noindex untersucht – diese Seite auch nach kurzer Zeit aus dem Index entfernt wird. Dafür ist der robots-Meta-Tag mit dem Noindex-Wert schließlich da. Eine Seite soll nicht im Index der Suchmaschinen landen oder daraus wieder entfernt werden, darf aber von den Bots (wie dem Google Bot) untersucht werden und deren Links folgen.

Ergebnisse des Noindex-Tests kompakt zusammengefasst

Im Folgenden nur kurz die Ergebnisse aus dem Test kompakt zusammengefasst. Die gesamten Auswertungen und Daten findest du weiter unten auf dieser Seite. → Die Zusammenfassung überspringen und gleich zu den Details gehen

Wichtiger Hinweis: Dieser Test umfasste die Domain nextlevelSEO.de. Es ist eine Case Study am eigenen Projekt. Das Prinzip mag auf jede andere Website übertragbar sein, die Reaktionszeiten und das Verhalten von Google und anderen Suchmaschinen ist aber für jede Domain unterschiedlich.

Deswegen ist der Test nicht auf jede Domain automatisch übertragbar. Aber es zeigt zumindest vom Prinzip her, was passiert, wenn man eine komplette Domain auf Noindex setzt.

#1: „Ungefähr XXX Ergebnisse“ sind grundsätzlich verzerrt

SEO Noindex Test: Seite 1 mit ungefähr 99 Ergebnissen

SEO Noindex Test: Seite 1 mit ungefähr 99 Ergebnissen

Selbst bei einer site:-Abfrage in Google, Bing und Yahoo! sind die angezeigten Ergebnisse „Ungefähr XXX Ergebnisse (in Y.YY Sekunden)“ grundsätzlich als Hochrechnung anzusehen. Sie unterschieden sich aber teilweise immens von dem, was tatsächlich noch in den Indizes der Suchmaschinen zu finden war.

#2: Artikel und Seiten werden zuerst entfernt

Nimmt man speziell WordPress an und in diesem Fall diese Case Study am Projekt nextlevelSEO.de, so sind zu Beginn des Tests vermehrt WordPress-Seiten und -Artikel aus dem Index entfernt worden als Kategorie-Seiten oder andere Inhalte (wie Schlagwörter-Seiten oder Seiten für Medienanhänge).

Das ist logisch aus zwei Gründen:

  • Gegenüber den Kategorieseiten, Schlagwörterseiten und Medien-Anhangseiten sind Artikel und Seiten deutlich stärker und von wichtigeren anderen URLs verlinkt. Der Google Bot und der Bing Bot schauen hier natürlich häufiger vorbei als auf URLs, die weniger bis fast gar nicht verlinkt wurden.
  • Artikel und Seiten in WordPress können sich deutlicher ändern als Kategorieseiten, Schlagwörterseiten oder eben Medien-Anhangseiten. Auf Artikel können z. B. Kommentare hinterlassen werden, aber auf Medien-Anhangseiten eben nicht. Rein von der Logik her macht es Sinn für die Bots, diese Artikel häufiger zu crawlen als eine Kategorieseite auf Seite 8 oder eben einer Medien-Anhangseite, die sich im Prinzip selten bis gar nicht ändert.

#3: Ein Monat reicht für die Deindexierung nicht aus!

Im kompletten Juni wurde die Domain nextlevelSEO.de auf Noindex gesetzt. Obwohl es regelmäßig „Abstürze“ gab in Bezug auf die Anzahl der Seiten in den Indizes der Suchmaschinen, so gab es aber leider nie einen Zeitpunkt innerhalb eines Monats, bei dem alle URLs komplett aus dem Index gekickt wurden. Irgendwelche URLs waren bis zum Schluss immer noch im Index.

Möchte man den Prozess also beschleunigen, führt kein Weg z. B. an der Google Search Console vorbei (früher Google Webmastertools). In der Google Search Console kann man unter Google-Index → URLs entfernen entsprechend die Startseite und alle Unterseiten beantragen, dass sie aus den Suchergebnissen entfernt werden. Das kann die Deindexierung weiter beschleunigen.

#4: Ein Monat reicht für die Reindexierung (bei Weitem) nicht aus!

Am 1. Juli wurde dann der Noindex von allen Seiten entfernt. Im kompletten Juli konnte ich also testen, wie schnell alle Seiten wieder in den Index der Suchmaschinen aufgenommen werden. Und kurz gesagt, es war ein „Pain in The Ass„.

Unter gleichen Bedingungen wie vorher – den Suchmaschinen wurde also nichts per Webmaster Tools übermittelt – kamen die URLs nur sehr spärlich wieder in den Index. Selbst heute, am 6. August, mit der Übermittlung der XML-Sitemap in der Google-Search Console am 1. August und mit manuellen Crawls befindet sich nicht einmal die Hälfte aller URLs wieder im Google Index.

Möchte man also möglichst schnell alle Seiten (wieder) im Index der Suchmaschinen haben, sollte man eine aktuelle XML-Sitemap hinterlegen und diese per Google Search Console bzw. den Bing Webmastertools übermitteln.

#5: Der Noindex kann sich auf eine einzelne URLs sehr spät auswirken

So als Fazit kann man für einzelne URLs sagen: Je häufiger sie intern wie auch extern verlinkt werden, je häufiger ein Suchmaschinen-Bot diese Unterseite besucht, umso schneller ist eine Deindexierung aus den Suchmaschinen wahrscheinlich. Allerdings ist das stark abhängig von der Domain selbst und möglicherweise vom Seiten-Typus (z. B. Artikel und Seiten schneller als Kategorieseiten).

Von dem her kann ein Noindex real zwischen einigen Stunden bei großen Projekten bis mehrere Wochen bei kleinen Projekten dauern, bis sie für eine URL wirken.

Noch mehr Interpretationen in der aktuellen Website Boosing #33

Noch mehr Infos zu diesem Artikel in der Website Boosting #33

Noch weitere Anmerkungen zu den Testergebnissen und Ableitungen daraus findest du in der aktuellen Ausgabe der Website Boosing #33. Dort beschreibe ich diesen Noindex-Test und zwei weitere Tests zur robots.txt-Datei und zum Nofollow-Attribut.

Preis: 9,80 Euro (+Porto)

Ziele dieses Noindex-Tests

In diesem Test geht es aber um etwas anderes. Nicht, ob Seiten aus dem Index genommen werden. Sondern, wie lange es dauert eine komplette Domain per Noindex aus den Indizes zu kicken, ohne Fremdeinwirkung. Wie lange dauert es bei Google, Bing und Yahoo!, bis sie alle Seiten neu gecrawlt haben und bis sie alle Seiten aus ihrem Index entfernt haben?

Und im Nachgang: Wie lange dauert es, bis sie die Seiten (möglichst alle) wieder komplett im Index aufgenommen haben werden?

Dabei wäre ein Einfluss meinerseits gegenüber Suchmaschinen natürlich fehl am Platze. Deswegen werde ich im kompletten Juni und Juli keine Aktionen tätigen, die die Suchmaschinen beeinträchtigen könnten. Keine Aktionen in den Webmastertools, keine aktualisierten XML Sitemap, auch keine neuen Artikel. Nichts. Nur die Aktualisierungen in diesem Artikel.

Kurz zur Basis und den Testumgebungen auf nextlevelSEO.de:

Heute hat Google noch 538, Bing 349 und Yahoo! noch 348 Seiten in ihren Indizes. Eine Domain-Pop von 118 laut Sistrix, dazu eine Sichtbarkeit bei Sistrix von 0,1357 (Smartphone: 0,2233). Vor Beginn des Tests befanden sich 1.716 Keywords laut Sistrix in den Top 100.

Ich bin gespannt, wie sich das entwickeln wird. 😉

Geprüft werden dabei die Suchmaschinen:

  • Google (Google.de)
  • Bing (Bing.com/?cc=de)
  • Yahoo! (de.Yahoo.com)

Als Messlatten für den Noindex-Test nehme ich:

  • site:-Abfragen in den Suchmaschinen
  • Sistrix Sichtbarkeitsindex
  • Sistrix: Anzahl gefundener Keywords in Top 100
  • Google Analytics Sitzungen (nur organisch)

Zeitraum und Ablauf des Noindex-Tests:

  • Alle Inhalte werden am 31.05.2015 gegen 20:00 Uhr auf Noindex gesetzt
  • Alle Inhalte verbleiben auf Noindex bis zum 30.06.2015, 20:00 Uhr
  • Jeden Tag werde ich gegen 20:00 Uhr site:-Abfragen in den Suchmaschinen durchführen und dazu die organischen Seitenaufrufe über Google Analytics des vorherigen Tages tracken. Diese werde ich tabellarisch und anschließend in Charts verarbeiten.
  • Nach Ablauf des Juni – also wenn alle Seiten wieder auf Index gesetzt werden – werde ich einen Monat lang die Auswertung zu diesem Noindex-Test fortführen. Um zu messen, wie schnell sich die Indexierung der Inhalte wieder „erholt“.
  • In den Testzeiträumen (Juni und Juli) werde ich in der Google Search Console (formals Google Webmastertools) keinerlei Aktionen durchführen, die den Bot schneller auf meine Seite bringen würden. Wie etwa „Abruf wie durch Google“. Gleiches gilt natürlich auch für die Bing Webmastertools.
  • Die XML Sitemaps werden aus der Google Search Console für den Testzeitraum gelöscht. Ebenso werden die XML Sitemaps bei den Bing Webmastertools gelöscht.
  • Alle Daten versuche ich täglich und jeweils um 20:00 Uhr einzusammeln.

Das heißt auch, dass ich in diesem Zeitraum keine neuen Artikel veröffentlichen und keinen Kommentar freischalten werde. Diese werden dann im Juli veröffentlicht.

Da der Test über zwei Monate geht und ich die Daten hier täglich aktualisiere, kannst du hier regelmäßig vorbei schauen. Wie gesagt, ich aktualisiere die Daten täglich. 😉

Ab hier folgen dann die Daten (und später auch erste Charts zu den Auswertungen).

Auswertungen des Noindex-Tests

Im Folgenden nun die Auswertungen des Noindex-Tests. Diese werden im Testzeitraum Juni und Juli 2015 einmal täglich aktualisiert.

Seiten im Index der Suchmaschinen

site:-Abfragen in den Suchmaschinen Google.de, Bing und Yahoo!

Suchmaschinen Noindex Test: Auswertung der Suchergebnisse

Suchmaschinen Noindex Test: Auswertung der Suchergebnisse

DatumGoogleBingYahoo!
29.05.2015538349348
30.05.2015531348349
31.05.2015525349348
01.06.2015521348346
02.06.2015552348348
03.06.2015518348346
04.06.2015496284284
05.06.2015460286283
06.06.2015408284284
07.06.2015389141283
08.06.2015395283283
09.06.2015381283283
10.06.2015379283283
11.06.20154159090
12.06.2015188103283
13.06.20151469090
14.06.20151349090
15.06.201514610348
16.06.20159110344
17.06.201510510348
18.06.20151293535
19.06.20151024048
20.06.20151243535
21.06.20151003535
22.06.201551* / 993731
23.06.201551 / 1142331
24.06.201561 / 942331
25.06.201548 / 1102331
26.06.201558 / 892331
27.06.201558 / 892331
28.06.201538 / 871818
29.06.201556 / 871818
30.06.201532 / 891818
01.07.201534 / 951818
02.07.201556 / 871814
03.07.201556 / 921414
04.07.201561 / 931514
05.07.201560 / 951514
06.07.201560 / 911514
07.07.201558 / 382323
08.07.201556 / 862329
09.07.201555 / 872329
10.07.201532 / 84629
11.07.201553 / 854242
12.07.201536 / 834242
13.07.201536 / 834242
14.07.201570 / 1024242
15.07.201571 / 1196263
16.07.2015115 / 1426262
17.07.2015115 / 1426262
18.07.2015118 / 16562 / 7578 / 62
19.07.2015123 / 17178 / 7978 / 79
20.07.2015131 / 17879 / 29974 / 75
21.07.2015154 / 17979 / 29978 / 79
22.07.2015155 / 18179 / 29984
23.07.2015163 / 18285 / 20485 / 86
24.07.2015163 / 18285 / 20585 / 86
25.07.2015166 / 18690 / 9190 / 91
26.07.2015164 / 18490 / 9190 / 91
27.07.2015154 / 18390 / 37590 / 375
28.07.2015164 / 18490 / 37590 / 91
29.07.2015163 / 18490 / 37590 / 91
30.07.2015161 / 18292 / 37893 / 93
31.07.2015161 / 18193 / 9393 / 93

Sistrix Sichtbarkeitsindex

Der Sistrix Sichtbarkeitsindex setzt sich ja bekanntermaßen aus den Suchergebnissen der Google-Suche zusammen (hier: deutsch). Kurz gesagt: Je mehr Keywords ich mit hohem Suchvolumen und besseren Positionen habe, desto höher ist meine Sichtbarkeit im Netz. Das hier ist also der Verlauf der Sichtbarkeit von Sistrix für nextlevelSEO.de und die Anzahl der Keywords in den Top 100:

Suchmaschinen Noindex Test: Auswertung der Sistrix Sichtbarkeit und der in Sistrix gefundenen Keywords

Suchmaschinen Noindex Test: Auswertung der Sistrix Sichtbarkeit und der in Sistrix gefundenen Keywords

WocheSI normalSI mobileAnzahl Keywords
KW 180,16390,1975
KW 190,13620,2098
KW 200,13230,2002
KW 210,14040,1458
KW 220,13570,22331.716
KW 230,20260,21881.730
KW 240,06330,03651.662
KW 2500956
KW 2600718
KW 2700338
KW 280096
KW 290,04040,0554142
KW 300,05150,0632298

Google Analytics: Organische Zugriffe (Sitzungen)

Das sind die organischen Sitzungen auf nextlevelSEO.de.

Suchmaschinen Noindex Test: Auswertung der organischen Sitzungen aus Google Analytics (nach Tagen)

Suchmaschinen Noindex Test: Auswertung der organischen Sitzungen aus Google Analytics (nach Tagen)

Diese Sitzungen möchte ich zuerst in Kalenderwochen zusammenführen. Denn gerade am Wochenende oder an Feiertagen habe ich grundsätzlich viel weniger Traffic. Um also eine gute Schnittmenge zu berechnen, verwende ich hier lieber zuerst Kalenderwochen. Ihr könnt euch aber auch die einzelnen Tage gerne weiter unten im Akkordeon anschauen.

Tipp für dich als Smartphone-Nutzer: Drehe dein Smartphone horizontal, um auch die Tabellen-Spalten von Bing und Yahoo! zu sehen. Diese werden vertikal nicht ausgegeben, weil die Tabellen sonst zu breit wären. #ResponsiveContentleidergeil 😉

WocheGesamt± ges.GoogleBingYahoo!
KW 192.478 —2.47151
KW 202.404-3,0%2.39092
KW 212.564+6,7%2.55372
KW 222.477-3,4%2.46752
KW 231.385-44,1%1.37462
KW 24171-87,7%17100
KW 25127-25,7%12610
KW 2695-25,2%9500
KW 27174+83,6%17310
KW 28658+378,2%64764
KW 29845+28,4%83294
KW 301.256+48,6%1.240104

Google Analytics: Organische Zugriffe (Sitzungen nach Tagen)

Öffne das Akkordeon, wenn du dir auch die Sitzungen auf nextlevelSEO.de nach einzelnen Tagen ansehen willst:

Google Analytics: Organische Zugriffe (Sitzungen nach Tagen)

Wie wird der Noindex umgesetzt in WordPress?

Mittels Yoast SEO Plugin kann ich alle WordPress-Inhalte mit einem Schlag auf Noindex setzen, ohne diese gleichzeitig per robots.txt zu blockieren. Das ist der sicherste Weg, um alle Inhalte auf Noindex zu setzen, ohne auch nur eine Seite per robots.txt zu blockieren. Das könnte sonst nur unnötig die Testergebnisse verfälschen. (Mehr dazu siehe: → SEO Test: Liest Google per robots.txt gesperrte Inhalte aus?)

Joah. Sonst gibt es hier noch nicht viel zu sehen. Und schon gar kein Fazit. Aber was du machen kannst ist, diesen Inhalt per RSS zu abonnieren. So siehst du täglich Neuerungen aus diesem Test. 😉

Was denkst du? Schafft es Google, Bing oder Yahoo!, alle Seiten bis Ende Juni aus dem Index zu kicken? Schreib es mir unten als Kommentar rein. Ich freue mich (auch wenn ich deinen Kommentar erst im Juli freischalten werde). 🙂

Noindex Tage-/Logbuch

Schöne Grüße

Pascal

7 Comments

  1. Sehr mutig, alles auf Noindex zu stellen. Bin sehr gespannt auf das Ergebnis! Noch gespannter allerdings, wie schnell die Suchmaschinen wieder neu indexieren. Bis in einem Monat dann!

  2. Danke für den Test, bin gespannt auf die Ergebnisse. Kannst da ja ne kleine Wette draus machen 😉
    Ich tippe: Google hat die Seiten schon in weniger als 2 Wochen aus dem Index geworfen – und die Reindexierung dauert zwischen 2 Tagen (für die wichtigsten Seiten) und 4 Wochen.

  3. Das Warum ist ja bereits beantwortet, aber:
    Was auch immer dabei herauskommt – was bringt die Information wie lange es ohne Einwirkung bei Bing dauert, etc..?

  4. Interessante Idee 🙂 Ich denke dass Google und die anderen Suchmaschinen die Seiten wieder ziemlich schnell im Index haben, da es nicht gerade ein Nischen-Nischen-Thema ist wo das Ganze sicherlich länger dauern würde. Ich denke es liegt in der Regel an dem Thema einer Seite und wie stark die Seite bei Google in den SERPS vertreten ist. Bei einer Seite mit weniger guten Rankings zu einem Nischenthema, dauert es sicherlich deutlich mehr Zeit bis die Crawler wieder vorbeischauen. Bei dieser Seite tippe ich auch auf wenige Tage bis 1 Woche bis der größte Teil wieder indexiert sein wird.

  5. Ich liebe solche Tests, die man nicht selbst durchführen muss. 😉
    Danke für dieses Wagnis, Pascal.
    Ich denke, dass die Seiten spätestens in vier Wochen wieder im im Index sind. Richtig interessant finde ich die Erkenntnis, wann das Ranking wieder zurückkehrt. Äußerst spannend.
    Beste Grüße
    Steve

  6. Danke Dir für diese ausführliche Darstellung. Es scheint hier einen Verzögerungseffekt zu geben, wobei Google bestimmt auch schneller könnte.

    Ist der Traffic jetzt eigentlich wieder so hoch wie früher im Google Analytics? Im Sistrix – der hat ja auch nur eine eingeschränkte Aussagekraft – scheint die Erholung noch anzudauern.

    VG
    Maik

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *