viva.tv und die robots.txt-Datei: Wie man es nicht machen sollte…

Auch große Websites sind vor kleinen Fehlern mit großen Auswirkungen nicht gefeit. Der Fernsehsender viva hat seine mobile Website per robots.txt komplett aus dem Index ausgeschlossen – und schießt somit viel Potential in den Wind.

Update: Ungefähr seit Anfang April hat viva.tv seine robots.txt auf der mobilen Seite angepasst. Seitdem geht es auch mit der mobilen Website stark hinauf.

Das Problem: Während die Desktop-Website des Musiksenders unter http://www.viva.tv/ vollständig erreichbar ist und weder per robots.txt gesperrt oder Meta Tag robot anderweitig vom Index ausgeschlossen wird, wird die mobile Website sehr wohl ausgeschlossen. → In der robots.txt von http://m.viva.tv/ findet man vor:

User-agent: *
Disallow: /

Das bedeutet, Bots und Crawler wie dem Google Bot und dem Google Mobile Bot wird es nicht gestattet, diese mobile Website zu betreten. Die komplette mobile Website ist somit vom Crawling ausgeschlossen. Darüber hinaus wurde die Website so eingestellt, dass sie mobile Surfer (User-agent) entdeckt und auf die mobile Website weiterleitet, no matter what. Und anscheinend ist auch der URL-Bereich nach der Domain (viva.tv/<URL-BEREICH>) der gleiche wie auf der Desktop-Version.

Das Problem ist: Auch der Google Mobile Bot wird daraufhin auf die mobile Website geleitet. Diese Kombination führt zu unglücklichen – und sicher unerwünschten – Effekten.

So indexiert Google zwar die normale Website und liefert diese bei einer Suche auf dem Smartphone auch aus. Es wird ein Suchergebnis der Desktop-Website ausgegeben, wie gleich im Screenshot zu sehen. Zum Suchbegriff „musikvideos“ befindet sich viva.tv momentan auf Platz 4:

Suchergebnisseite zu "musikvideos": viva.tv auf Platz 4, per robots.txt gesperrt

Suchergebnisseite zu „musikvideos“: viva.tv auf Platz 4, per robots.txt gesperrt

Allerdings wird zum Suchergebnis immer als Beschreibungstext ausgegeben:

Aufgrund der robots.txt dieser Website ist keine Beschreibung für dieses Ergebnis verfügbar. Weitere Informationen

Das heißt im Klartext:

  • Google erkennt nur die Desktop-Version der Website viva.tv.
  • Google lässt die Seite auf Platz 4 ranken (global, also browser- und Device-übergreifend).
  • Google verwendet im mobilen Suchergebnis den Title und die URL der Desktop-Website.
  • Weil Google mit dem Mobile Bot jedoch gleich auf die mobile Website m.viva.tv weitergeleitet und dort per robots.txt geblockt wird, kann Google Mobile Bot die mobile Website nicht untersuchen und gibt daraufhin in den Suchergebnissen die robots.txt-Gesperrt-Fehlermeldung aus.

Unabhängig vom Ranking ist die Aufgabe eines Suchmaschinenoptimierers auch, ansprechende Snippets zu generieren, damit die Suchenden auch auf das Suchergebnis klicken. Da ein solches Snippet aber alles andere als einladend wirkt, wird sicher ein Großteil der Suchenden die Seite überspringen und zum nächsten Suchergebnis gehen. Damit verschenkt viva.tv enormes mobiles Besucherpotential.

Dass dieser kleine Fehler so lange unentdeckt blieb, zeigt eine kurze Sistrix Analyse. Darin sieht man, dass die Sichtbarkeit der Subdomain m.viva.tv seit 05. November 2012 im absoluten Nullbereich liegt.

Die mobile Website von viva.tv hat seit Jahren keine Sichtbarkeit bei Sistrix.

Die mobile Website von viva.tv hat seit Jahren keine Sichtbarkeit bei Sistrix.

Damals hat man wohl versucht, die Domain viva.tv aus einem möglichen Panda Filter zu hebeln. Ein kurzer Screenshot des Sichtbarkeitsindex der Hauptdomain viva.tv zeigt den Abfall der Domain zum gleichen Zeitpunkt, als die mobile Website sozusagen „durchstartete“ (etwa ab Marker „C“):

Der Absturz von viva.tv bei Sistrix

Der Absturz von viva.tv bei Sistrix – ein Panda-Effekt wegen Duplicate Content?

Also, liebe SEO-Kollegen von viva. Hier ein paar Tipps, wie ihr das Problem besser lösen könnt.

  1. Um Duplicate Content zu vermeiden, stattet eure mobile Website mit einem Canonical Tag aus, der auf die Desktop-Version dieses jeweiligen Inhalts zeigt.
  2. Auf der Desktop-Seite baut ihr dann einen Link zum jeweils passenden mobilen Inhalt ein mit rel=“alternate“.
  3. Ändert die robots.txt-Datei eurer mobilen Website und lasst Bots wieder zu.
  4. Weitere Infos zum richtigen Umgang von mobilen Websites erhaltet ihr bei Google. 🙂

In Bezug auf → das kommende Mobile Friendly Update wäre es für die Webmaster und SEOs von viva äußerst ratsam, ihre mobile Seite zu aktualisieren. Sonst droht ihnen mit diesem neuen Rankingfaktor – mehr oder weniger – eine extrem große Abstrafung ihrer Seite auf mobilen Suchgeräten wie Smartphones und Smartwatches…

3 Meinungen

  1. Avatar for Pascal Horn

    Ist doch auch mal schön, Pascal. Jetz können wir sagen: „Hey, meine Seite hat nen höheren Sichtbarkeitsindex als die mobile Viva Seite!“ 😀

    Lg, toller Post!

  2. Pingback: 500 pounds in one bite @ 13.03.2015 - ThatScaryDinosaur

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Datenschutzhinweis:
Mit dem Klick auf Kommentar abschicken wird dein Kommentar auch für alle sichtbar mit deinem Namen - und wenn du ein Gravatar hinter deiner Mailadresse hinterlegt hast, auch mit deinem Gravatar - veröffentlicht. Die Speicherung deiner E-Mail-Adresse und IP-Adresse und Zeitstempel wird zusätzlich vorgenommen, aber nicht veröffentlicht. Keine Sorge, wir geben diese weder weiter noch verwenden wir diese für andere Zwecke als für die Qualitätssicherung der Kommentarfunktion vor Spam und Missbrauch. Mehr dazu in der Datenschutzerklärung.