SEO: Der Noindex-Test auf nextlevelSEO.de

Im kompletten Juni 2015 habe ich diesen/meinen SEO-Blog nextlevelSEO.de auf Noindex gestellt. Mit diesem SEO-Test wollte ich eine Auswertung machen, wie schnell Suchmaschinen die Seiten aus dem Index entfernen und anschließend, wie schnell sie wieder in den Index kommen.

Es ist unbestritten, dass – sobald ein Suchmaschinen-Bot eine Seite mit Noindex untersucht – diese Seite auch nach kurzer Zeit aus dem Index entfernt wird. Dafür ist der robots-Meta-Tag mit dem Noindex-Wert schließlich da. Eine Seite soll nicht im Index der Suchmaschinen landen oder daraus wieder entfernt werden, darf aber von den (wie dem Google Bot) untersucht werden und deren Links folgen.

Ergebnisse des Noindex-Tests kompakt zusammengefasst

Im Folgenden nur kurz die Ergebnisse aus dem Test kompakt zusammengefasst. Die gesamten Auswertungen und Daten findest du weiter unten auf dieser Seite. → Die Zusammenfassung überspringen und gleich zu den Details gehen

Wichtiger Hinweis: Dieser Test umfasste die Domain nextlevelSEO.de. Es ist eine Case Study am eigenen Projekt. Das Prinzip mag auf jede andere Website übertragbar sein, die Reaktionszeiten und das Verhalten von Google und anderen Suchmaschinen ist aber für jede unterschiedlich.

Deswegen ist der Test nicht auf jede Domain automatisch übertragbar. Aber es zeigt zumindest vom Prinzip her, was passiert, wenn man eine komplette Domain auf Noindex setzt.

#1: „Ungefähr XXX Ergebnisse“ sind grundsätzlich verzerrt

SEO Noindex Test: Seite 1 mit ungefähr 99 Ergebnissen

SEO Noindex Test: Seite 1 mit ungefähr 99 Ergebnissen

Selbst bei einer site:-Abfrage in Google, Bing und Yahoo! sind die angezeigten Ergebnisse „Ungefähr XXX Ergebnisse (in Y.YY Sekunden)“ grundsätzlich als Hochrechnung anzusehen. Sie unterschieden sich aber teilweise immens von dem, was tatsächlich noch in den Indizes der Suchmaschinen zu finden war.

#2: Artikel und Seiten werden zuerst entfernt

Nimmt man speziell WordPress an und in diesem Fall diese Case Study am Projekt nextlevelSEO.de, so sind zu Beginn des Tests vermehrt WordPress-Seiten und -Artikel aus dem Index entfernt worden als Kategorie-Seiten oder andere Inhalte (wie Schlagwörter-Seiten oder Seiten für Medienanhänge).

Das ist logisch aus zwei Gründen:

  • Gegenüber den Kategorieseiten, Schlagwörterseiten und Medien-Anhangseiten sind Artikel und Seiten deutlich stärker und von wichtigeren anderen URLs verlinkt. Der Google und der Bing Bot schauen hier natürlich häufiger vorbei als auf URLs, die weniger bis fast gar nicht verlinkt wurden.
  • Artikel und Seiten in WordPress können sich deutlicher ändern als Kategorieseiten, Schlagwörterseiten oder eben Medien-Anhangseiten. Auf Artikel können z. B. Kommentare hinterlassen werden, aber auf Medien-Anhangseiten eben nicht. Rein von der Logik her macht es Sinn für die Bots, diese Artikel häufiger zu crawlen als eine Kategorieseite auf Seite 8 oder eben einer Medien-Anhangseite, die sich im Prinzip selten bis gar nicht ändert.

#3: Ein Monat reicht für die Deindexierung nicht aus!

Im kompletten Juni wurde die Domain nextlevelSEO.de auf Noindex gesetzt. Obwohl es regelmäßig „Abstürze“ gab in Bezug auf die Anzahl der Seiten in den Indizes der Suchmaschinen, so gab es aber leider nie einen Zeitpunkt innerhalb eines Monats, bei dem alle URLs komplett aus dem Index gekickt wurden. Irgendwelche URLs waren bis zum Schluss immer noch im Index.

Möchte man den Prozess also beschleunigen, führt kein Weg z. B. an der Google Search Console vorbei (früher Google Webmastertools). In der Google Search Console kann man unter Google-Index → URLs entfernen entsprechend die Startseite und alle Unterseiten beantragen, dass sie aus den Suchergebnissen entfernt werden. Das kann die Deindexierung weiter beschleunigen.

#4: Ein Monat reicht für die Reindexierung (bei Weitem) nicht aus!

Am 1. Juli wurde dann der Noindex von allen Seiten entfernt. Im kompletten Juli konnte ich also testen, wie schnell alle Seiten wieder in den Index der Suchmaschinen aufgenommen werden. Und kurz gesagt, es war ein „Pain in The Ass„.

Unter gleichen Bedingungen wie vorher – den Suchmaschinen wurde also nichts per Webmaster Tools übermittelt – kamen die URLs nur sehr spärlich wieder in den Index. Selbst heute, am 6. August, mit der Übermittlung der XML-Sitemap in der Google-Search Console am 1. August und mit manuellen Crawls befindet sich nicht einmal die Hälfte aller URLs wieder im Google Index.

Möchte man also möglichst schnell alle Seiten (wieder) im Index der Suchmaschinen haben, sollte man eine aktuelle XML-Sitemap hinterlegen und diese per Google Search Console bzw. den Bing Webmastertools übermitteln.

#5: Der Noindex kann sich auf eine einzelne URLs sehr spät auswirken

So als Fazit kann man für einzelne URLs sagen: Je häufiger sie intern wie auch extern verlinkt werden, je häufiger ein Suchmaschinen-Bot diese Unterseite besucht, umso schneller ist eine Deindexierung aus den Suchmaschinen wahrscheinlich. Allerdings ist das stark abhängig von der Domain selbst und möglicherweise vom Seiten-Typus (z. B. Artikel und Seiten schneller als Kategorieseiten).

Von dem her kann ein Noindex real zwischen einigen Stunden bei großen Projekten bis mehrere Wochen bei kleinen Projekten dauern, bis sie für eine URL wirken.

Noch mehr Interpretationen in der aktuellen Website Boosing #33

Noch mehr Infos zu diesem Artikel in der Website Boosting #33

Noch weitere Anmerkungen zu den Testergebnissen und Ableitungen daraus findest du in der aktuellen Ausgabe der Website Boosing #33. Dort beschreibe ich diesen Noindex-Test und zwei weitere Tests zur robots.txt-Datei und zum Nofollow-Attribut.

Preis: 9,80 Euro (+Porto)

Ziele dieses Noindex-Tests

In diesem Test geht es aber um etwas anderes. Nicht, ob Seiten aus dem Index genommen werden. Sondern, wie lange es dauert eine komplette Domain per Noindex aus den Indizes zu kicken, ohne Fremdeinwirkung. Wie lange dauert es bei Google, Bing und Yahoo!, bis sie alle Seiten neu gecrawlt haben und bis sie alle Seiten aus ihrem Index entfernt haben?

Und im Nachgang: Wie lange dauert es, bis sie die Seiten (möglichst alle) wieder komplett im Index aufgenommen haben werden?

Dabei wäre ein Einfluss meinerseits gegenüber Suchmaschinen natürlich fehl am Platze. Deswegen werde ich im kompletten Juni und Juli keine Aktionen tätigen, die die Suchmaschinen beeinträchtigen könnten. Keine Aktionen in den Webmastertools, keine aktualisierten XML Sitemap, auch keine neuen Artikel. Nichts. Nur die Aktualisierungen in diesem Artikel.

Kurz zur Basis und den Testumgebungen auf nextlevelSEO.de:

Heute hat Google noch 538, Bing 349 und Yahoo! noch 348 Seiten in ihren Indizes. Eine Domain-Pop von 118 laut Sistrix, dazu eine Sichtbarkeit bei Sistrix von 0,1357 (Smartphone: 0,2233). Vor Beginn des Tests befanden sich 1.716 Keywords laut Sistrix in den Top 100.

Ich bin gespannt, wie sich das entwickeln wird. 😉

Geprüft werden dabei die Suchmaschinen:

  • Google (Google.de)
  • Bing (Bing.com/?cc=de)
  • Yahoo! (de.Yahoo.com)

Als Messlatten für den Noindex-Test nehme ich:

  • site:-Abfragen in den Suchmaschinen
  • Sistrix Sichtbarkeitsindex
  • Sistrix: Anzahl gefundener Keywords in Top 100
  • Google Analytics Sitzungen (nur organisch)

Zeitraum und Ablauf des Noindex-Tests:

  • Alle Inhalte werden am 31.05.2015 gegen 20:00 Uhr auf Noindex gesetzt
  • Alle Inhalte verbleiben auf Noindex bis zum 30.06.2015, 20:00 Uhr
  • Jeden Tag werde ich gegen 20:00 Uhr site:-Abfragen in den Suchmaschinen durchführen und dazu die organischen Seitenaufrufe über Google Analytics des vorherigen Tages tracken. Diese werde ich tabellarisch und anschließend in Charts verarbeiten.
  • Nach Ablauf des Juni – also wenn alle Seiten wieder auf Index gesetzt werden – werde ich einen Monat lang die Auswertung zu diesem Noindex-Test fortführen. Um zu messen, wie schnell sich die Indexierung der Inhalte wieder „erholt“.
  • In den Testzeiträumen (Juni und Juli) werde ich in der Google Search Console (formals Google Webmastertools) keinerlei Aktionen durchführen, die den Bot schneller auf meine Seite bringen würden. Wie etwa „Abruf wie durch Google“. Gleiches gilt natürlich auch für die Bing Webmastertools.
  • Die XML Sitemaps werden aus der Google Search Console für den Testzeitraum gelöscht. Ebenso werden die XML Sitemaps bei den Bing Webmastertools gelöscht.
  • Alle Daten versuche ich täglich und jeweils um 20:00 Uhr einzusammeln.

Das heißt auch, dass ich in diesem Zeitraum keine neuen Artikel veröffentlichen und keinen Kommentar freischalten werde. Diese werden dann im Juli veröffentlicht.

Da der Test über zwei Monate geht und ich die Daten hier täglich aktualisiere, kannst du hier regelmäßig vorbei schauen. Wie gesagt, ich aktualisiere die Daten täglich. 😉

Ab hier folgen dann die Daten (und später auch erste Charts zu den Auswertungen).

Auswertungen des Noindex-Tests

Im Folgenden nun die Auswertungen des Noindex-Tests. Diese werden im Testzeitraum Juni und Juli 2015 einmal täglich aktualisiert.

Seiten im Index der Suchmaschinen

site:-Abfragen in den Suchmaschinen Google.de, Bing und Yahoo!

Suchmaschinen Noindex Test: Auswertung der Suchergebnisse

Suchmaschinen Noindex Test: Auswertung der Suchergebnisse

Datum Google Bing Yahoo!
29.05.2015 538 349 348
30.05.2015 531 348 349
31.05.2015 525 349 348
01.06.2015 521 348 346
02.06.2015 552 348 348
03.06.2015 518 348 346
04.06.2015 496 284 284
05.06.2015 460 286 283
06.06.2015 408 284 284
07.06.2015 389 141 283
08.06.2015 395 283 283
09.06.2015 381 283 283
10.06.2015 379 283 283
11.06.2015 415 90 90
12.06.2015 188 103 283
13.06.2015 146 90 90
14.06.2015 134 90 90
15.06.2015 146 103 48
16.06.2015 91 103 44
17.06.2015 105 103 48
18.06.2015 129 35 35
19.06.2015 102 40 48
20.06.2015 124 35 35
21.06.2015 100 35 35
22.06.2015 51* / 99 37 31
23.06.2015 51 / 114 23 31
24.06.2015 61 / 94 23 31
25.06.2015 48 / 110 23 31
26.06.2015 58 / 89 23 31
27.06.2015 58 / 89 23 31
28.06.2015 38 / 87 18 18
29.06.2015 56 / 87 18 18
30.06.2015 32 / 89 18 18
01.07.2015 34 / 95 18 18
02.07.2015 56 / 87 18 14
03.07.2015 56 / 92 14 14
04.07.2015 61 / 93 15 14
05.07.2015 60 / 95 15 14
06.07.2015 60 / 91 15 14
07.07.2015 58 / 38 23 23
08.07.2015 56 / 86 23 29
09.07.2015 55 / 87 23 29
10.07.2015 32 / 84 6 29
11.07.2015 53 / 85 42 42
12.07.2015 36 / 83 42 42
13.07.2015 36 / 83 42 42
14.07.2015 70 / 102 42 42
15.07.2015 71 / 119 62 63
16.07.2015 115 / 142 62 62
17.07.2015 115 / 142 62 62
18.07.2015 118 / 165 62 / 75 78 / 62
19.07.2015 123 / 171 78 / 79 78 / 79
20.07.2015 131 / 178 79 / 299 74 / 75
21.07.2015 154 / 179 79 / 299 78 / 79
22.07.2015 155 / 181 79 / 299 84
23.07.2015 163 / 182 85 / 204 85 / 86
24.07.2015 163 / 182 85 / 205 85 / 86
25.07.2015 166 / 186 90 / 91 90 / 91
26.07.2015 164 / 184 90 / 91 90 / 91
27.07.2015 154 / 183 90 / 375 90 / 375
28.07.2015 164 / 184 90 / 375 90 / 91
29.07.2015 163 / 184 90 / 375 90 / 91
30.07.2015 161 / 182 92 / 378 93 / 93
31.07.2015 161 / 181 93 / 93 93 / 93

Sistrix Sichtbarkeitsindex

Der Sistrix Sichtbarkeitsindex setzt sich ja bekanntermaßen aus den Suchergebnissen der Google-Suche zusammen (hier: deutsch). Kurz gesagt: Je mehr Keywords ich mit hohem Suchvolumen und besseren Positionen habe, desto höher ist meine Sichtbarkeit im Netz. Das hier ist also der Verlauf der Sichtbarkeit von Sistrix für nextlevelSEO.de und die Anzahl der Keywords in den Top 100:

Suchmaschinen Noindex Test: Auswertung der Sistrix Sichtbarkeit und der in Sistrix gefundenen Keywords

Suchmaschinen Noindex Test: Auswertung der Sistrix Sichtbarkeit und der in Sistrix gefundenen Keywords

Woche SI normal SI mobile Anzahl Keywords
KW 18 0,1639 0,1975
KW 19 0,1362 0,2098
KW 20 0,1323 0,2002
KW 21 0,1404 0,1458
KW 22 0,1357 0,2233 1.716
KW 23 0,2026 0,2188 1.730
KW 24 0,0633 0,0365 1.662
KW 25 0 0 956
KW 26 0 0 718
KW 27 0 0 338
KW 28 0 0 96
KW 29 0,0404 0,0554 142
KW 30 0,0515 0,0632 298

Google Analytics: Organische Zugriffe (Sitzungen)

Das sind die organischen Sitzungen auf nextlevelSEO.de.

Suchmaschinen Noindex Test: Auswertung der organischen Sitzungen aus Google Analytics (nach Tagen)

Suchmaschinen Noindex Test: Auswertung der organischen Sitzungen aus Google Analytics (nach Tagen)

Diese Sitzungen möchte ich zuerst in Kalenderwochen zusammenführen. Denn gerade am Wochenende oder an Feiertagen habe ich grundsätzlich viel weniger Traffic. Um also eine gute Schnittmenge zu berechnen, verwende ich hier lieber zuerst Kalenderwochen. Ihr könnt euch aber auch die einzelnen Tage gerne weiter unten im Akkordeon anschauen.

Tipp für dich als Smartphone-Nutzer: Drehe dein Smartphone horizontal, um auch die Tabellen-Spalten von Bing und Yahoo! zu sehen. Diese werden vertikal nicht ausgegeben, weil die Tabellen sonst zu breit wären. #ResponsiveContentleidergeil 😉

Woche Gesamt ± ges. Google Bing Yahoo!
KW 19 2.478  — 2.471 5 1
KW 20 2.404 -3,0% 2.390 9 2
KW 21 2.564 +6,7% 2.553 7 2
KW 22 2.477 -3,4% 2.467 5 2
KW 23 1.385 -44,1% 1.374 6 2
KW 24 171 -87,7% 171 0 0
KW 25 127 -25,7% 126 1 0
KW 26 95 -25,2% 95 0 0
KW 27 174 +83,6% 173 1 0
KW 28 658 +378,2% 647 6 4
KW 29 845 +28,4% 832 9 4
KW 30 1.256 +48,6% 1.240 10 4

Google Analytics: Organische Zugriffe (Sitzungen nach Tagen)

Öffne das Akkordeon, wenn du dir auch die Sitzungen auf nextlevelSEO.de nach einzelnen Tagen ansehen willst:

Google Analytics: Organische Zugriffe (Sitzungen nach Tagen)

Wie wird der Noindex umgesetzt in WordPress?

Mittels Yoast SEO Plugin kann ich alle WordPress-Inhalte mit einem Schlag auf Noindex setzen, ohne diese gleichzeitig per robots.txt zu blockieren. Das ist der sicherste Weg, um alle Inhalte auf Noindex zu setzen, ohne auch nur eine Seite per robots.txt zu blockieren. Das könnte sonst nur unnötig die Testergebnisse verfälschen. (Mehr dazu siehe: → SEO Test: Liest Google per robots.txt gesperrte Inhalte aus?)

Joah. Sonst gibt es hier noch nicht viel zu sehen. Und schon gar kein Fazit. Aber was du machen kannst ist, diesen Inhalt per RSS zu abonnieren. So siehst du täglich Neuerungen aus diesem Test. 😉

Was denkst du? Schafft es Google, Bing oder Yahoo!, alle Seiten bis Ende Juni aus dem Index zu kicken? Schreib es mir unten als Kommentar rein. Ich freue mich (auch wenn ich deinen Kommentar erst im Juli freischalten werde). 🙂

Noindex Tage-/Logbuch

Schöne Grüße

Pascal

7 Meinungen

  1. Sehr mutig, alles auf Noindex zu stellen. Bin sehr gespannt auf das Ergebnis! Noch gespannter allerdings, wie schnell die Suchmaschinen wieder neu indexieren. Bis in einem Monat dann!

  2. Danke für den Test, bin gespannt auf die Ergebnisse. Kannst da ja ne kleine Wette draus machen 😉
    Ich tippe: Google hat die Seiten schon in weniger als 2 Wochen aus dem Index geworfen – und die Reindexierung dauert zwischen 2 Tagen (für die wichtigsten Seiten) und 4 Wochen.

  3. Das Warum ist ja bereits beantwortet, aber:
    Was auch immer dabei herauskommt – was bringt die Information wie lange es ohne Einwirkung bei Bing dauert, etc..?

  4. Interessante Idee 🙂 Ich denke dass Google und die anderen Suchmaschinen die Seiten wieder ziemlich schnell im Index haben, da es nicht gerade ein Nischen-Nischen-Thema ist wo das Ganze sicherlich länger dauern würde. Ich denke es liegt in der Regel an dem Thema einer Seite und wie stark die Seite bei Google in den SERPS vertreten ist. Bei einer Seite mit weniger guten Rankings zu einem Nischenthema, dauert es sicherlich deutlich mehr Zeit bis die Crawler wieder vorbeischauen. Bei dieser Seite tippe ich auch auf wenige Tage bis 1 Woche bis der größte Teil wieder indexiert sein wird.

  5. Ich liebe solche Tests, die man nicht selbst durchführen muss. 😉
    Danke für dieses Wagnis, Pascal.
    Ich denke, dass die Seiten spätestens in vier Wochen wieder im im Index sind. Richtig interessant finde ich die Erkenntnis, wann das Ranking wieder zurückkehrt. Äußerst spannend.
    Beste Grüße
    Steve

  6. Danke Dir für diese ausführliche Darstellung. Es scheint hier einen Verzögerungseffekt zu geben, wobei Google bestimmt auch schneller könnte.

    Ist der Traffic jetzt eigentlich wieder so hoch wie früher im Google Analytics? Im Sistrix – der hat ja auch nur eine eingeschränkte Aussagekraft – scheint die Erholung noch anzudauern.

    VG
    Maik

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.