Mediakraft Networks sperrt Suchmaschinen per robots.txt aus… warum???

Das Youtube-Netzwerk Mediakraft Networks sperrt per robots.txt alle Suchmaschinen-Bots von ihrer Website aus. Absicht oder übler SEO-Fehler?

Das Multi-Channel- und Youtube-Netzwerk „Mediakraft Networks“ sperrt per robots.txt alle Suchmaschinen-Bots von ihrer Website aus. Ein Fehler scheint es nicht zwingend zu sein… aber wie erklärt man sich außer Absicht, dass der Ausschluss schon seit Gründung im Jahr 2011 aktiv scheint?

Update: Mittlerweile, nach weniger als 12 Stunden, hat Mediakraft die robots.txt angepasst. Trotzdem… dieser kleine Haken in den WP-Einstellungen kann halt – unbedacht – immer Probleme machen… 😉

Das bedeutet: Ja, es war ein Fehler und keine Absicht. Das heißt aber auch, dass eine so große Agentur wie Mediakraft, die sich im Web bestens auskennen sollte, auch mal Fehler macht. Siehe Tweet und die Antwort darauf:

Wenn ich ab diesem Zeitpunkt also von „Absicht“ spreche, ist also eher der freundliche Begriff der „Unkenntnis des Themas“ oder „Unkenntnis in der Vergangenheit“ zu nehmen. Hier jetzt wieder zurück zum Grundartikel, wie er vorher auch geschrieben war:

Zugegeben, ich bin ein bisschen verstört. Nicht, weil → Mediakraft Networks ein umstrittenes Youtube-Netzwerk ist und ich ihnen vielleicht auf einen Fehler aufmerksam mache, den sie seit Jahren übersehen haben. Sondern weil es mir als Absicht erscheint, ihren Internetauftritt komplett für Suchmaschinen zu sperren. Einen so großen Patzer kann ich mir sonst nicht anders erklären. Aber schauen wir uns mal ein paar Basisdaten zu Mediakraft an:

  • Gründung Mediakraft Networks GmbH: Am 01.09.2011
  • Die Website ist damit 4 Jahre alt
  • Für Mediakraft arbeiten einige hochkarätige Online Marketer und „Youtube-Optimierer“.
  • Mediakraft beschäftigt 130 Mitarbeiter und hat Büros im Köln, Berlin, Hamburg, Amsterdam, Warschau und Istanbul.

Und was lese ich da, wenn ich die offizielle Website im Netz suche? Genau…

Mediakraft Suchergebnis - Robots.txt Fehlermeldung

Mediakraft Suchergebnis – Robots.txt Fehlermeldung

Mediakraft Networks
www.mediakraft.de/
Aufgrund der robots.txt dieser Website ist keine Beschreibung für dieses Ergebnis verfügbar. Weitere Informationen

Gut, schauen wir weiter nach und öffnen mal die → robots.txt-Datei von Mediakraft. Darin steht ernsthaft:

User-agent: *
Disallow: /

Das heißt, Suchmaschinen wird der Zutritt zur Mediakraft Website komplett verwehrt. Suchmaschinen können die Seiten nicht auslesen, nicht bewerten und auch nicht sinnvoll in die Suche aufnehmen.

Wenn wir uns den Quelltext der Website anschauen, fallen zwei weitere Fakten auf:

  • Die Unterseiten sind auf Noindex gesetzt
  • Es werden WordPress-typische Pfade angegeben, z. B. zum Theme, um die CSS-Datei zu laden.

Moment… WordPress? robots.txt? Noindex?

Das schaut schon mal nach einem klassischen einstellbaren Option in den Einstellungen aus. Dort kann man eben unter Einstellungen → Lesen einen Haken aktivieren für:

WordPress Sichtbarkeit für Suchmaschinen

WordPress Sichtbarkeit für Suchmaschinen

Sichtbarkeit für Suchmaschinen: Suchmaschinen davon abhalten, diese Website zu indexieren. Es liegt an den Suchmaschinen, diese Anfrage anzunehmen.

Ist dieser Haken in den WordPress-Einstellungen aktiviert, werden alle Seiten auf Noindex gesetzt und Suchmaschinen per robots.txt von der Website ausgeschlossen. Diese Option sollte man nie aktivieren, es sei denn:

  • Man weiß, was man macht
  • Eine Seite soll nicht in Suchmaschinen landen
  • Eine Seite soll erst später „online gehen“.

Jetzt ist es so… Sichtbarkeitsindex, Google Analytics, Yoast SEO & Social Media Plugins

Was passiert, wenn man eine Website per robots.txt ausschließt, sehen wir in der Sichtbarkeit der Website von Mediakraft:

Mediakraft Sichtbarkeitsindex von Sistrix

Mediakraft Sichtbarkeitsindex bei Sistrix

Die Domain ist aus SEO-Sicht klinisch tot. Obwohl Mediakraft eine große Marke in ihrem Bereich in Deutschland ist. Was ist da los?

Kleine Nebeninfo: Im → SEO Test: Liest Google per robots.txt gesperrte Inhalte aus? habe ich beschrieben, dass Suchmaschinen Seiten, die per robots.txt gesperrt sind, durchaus in die Suche aufnehmen können. Sie können sogar in Suchergebnissen ranken. Mediakraft rankt selbst mit dem Eigennamen auf Platz 1 und zu 50 weiteren Keywords, die aber stark mit Mediakraft selbst zu tun haben. Sprich: Externe Einwirkungen wie Verlinkungen führen hier zu Rankings und leichten Schwankungen in der Sichtbarkeit.

Halten wir fest: Bis hierher könnte man sagen, das Aussperren von Suchmaschinen ist Absicht und Mediakraft möchte aus irgendwelchen Gründen die Seite nicht in Suchmaschinen haben.

Was sie aber haben wollen, sind Besucher auf der Website. Das lässt sich leicht nachvollziehen:

  • Es ist Google Analytics eingebunden, um Besucher zu tracken.
  • Es ist das Social Media Plugin → Social Share Boost installiert, das auch aktiv eingesetzt wird
  • Es ist sogar das Yoast SEO Plugin installiert, das in einer XML-Sitemap präsentiert wird (wirklich wahr: http://www.mediakraft.de/sitemap_index.xml)
  • Und gekrönt wird das mit den pro Unterseite angepassten Meta Descriptions.

Wenn man das Yoast SEO Plugin installiert und unter Einstellungen → Lesen die Suchmaschinen blockiert werden, erhält man im Normalfall im WordPress Dashboard einen Hinweis:

Yoast Fehlermeldung: Suchmaschinen werden blockiert

Yoast Fehlermeldung: Suchmaschinen werden blockiert

Wichtiges SEO-Problem: Sie blocken den Zugriff von Suchmaschinen. You must go to your Reading Settings and uncheck the box for Search Engine Visibility. [Weiß ich, geh weg.]

Klickt man auf die Box „Weiß ich, geh weg.“, so verschwindet dieser Hinweis.

Jetzt kann man sich folgendes Szenario vorstellen: Die Box wurde angeklickt und das Problem nie wieder gesehen. Oder es bleibt weiter Absicht. Nur dann stelle ich mir umgekehrt die Frage: Wozu dann ein SEO-Plugin? Wozu XML-Sitemaps? Warum werden die Meta Descriptions ausgefüllt? Warum sollen Leser über Social Media Kanäle kommen, aber nicht über Suchmaschinen?

Weitere Fragen, die offen bleiben…

Jetzt unterstelle ich Mediakraft mal einfach, dass sie Geld verdienen wollen. Als GmbH sind sie eine Firma, und die überlebt nur mit Geld. Mit Sponsoren und Werbeleuten. Sie vermarkten Werbung. Also brauchen Sie Kunden, die Werbung auf Youtube suchen. Gleichzeitig braucht Mediakraft regelmäßig neue Youtuber. Die findet man alle auch auf Youtube. Oder auf Facebook und anderen Social Media Kanälen. Das ist schon richtig.

Aber warum blockiert man dann den Internetauftritt für Suchmaschinen? Sodass sie nicht in den Suchergebnissen von Google, Bing, Yahoo!, und weiteren erscheinen sollen? Warum werden an Mediakraft Interessierte (also potentielle Werbekunden wie auch potentielle Youtuber) nicht gut über die einfachste Suchfunktion im Internet mit Ausnahme des Eigennamens fündig? Ist das Absicht, und wenn ja, welcher Zweck steht dahinter?

Oder auf einer anderen Ebene ganz trivial und platt gesagt: Warum gibt es zum Beispiel gute Vorträge auf der SMX München von Mediakraft zum Thema Youtube-Video-Optimierung, wenn sie es selbst nicht mal schaffen, einen Haken aus den WordPress-Einstellungen zu deaktivieren? Wenn es keinen noch höheren Grund gäbe(, den wir vielleicht noch nicht kennen)? Und warum blieb das Problem trotz Experten und Vorträge so lange unentdeckt?

Oder kurz: WARUMMM??? Ich verstehe es nicht… Ich will es verstehen… x(

Und wenn es keine Absicht ist, dann ist das so ziemlich der größte SEO Fail, den ich seit Langem gesehen habe. =D

PS: Übrigens gilt das gleiche Problem auch auf allen anderen Sprachen von Mediakraft:

Danke übrigens an Cory, der mich auf das Problem aufmerksam gemacht hat.

Nachtrag: Mediakraft positioniert sich gerade neu – zum Schlechten..?

Also, wo ich oben schon gesagt habe, dass das Aussperren von Suchmaschinen von der eigenen Website aus Sicht eines SEOs / Online Marketers mehr als handwerklich schwer nachvollziehbar ist, so muss ich aus aktuellem Anlass noch dieses Video hinterher schießen:

In diesem Video von vor 3 Wochen wird vom Youtuber → RobBubble kurz und knapp beschrieben, wie sich wohl Mediakraft neu ausrichten möchte. Aus diesen Gründen haben sie neue, eigene Kanäle gestartet, die momentan nahezu keine Views und Subscriber verzeichnen (iim Vergleich zu den Formaten, die Mediakraft zuvor vermartete).

Stattdessen hat Mediakraft so erfolgreiche Formate wie „Was geht ab“ und „Techscalibur“ mit hunderttausenden Subscribern und zig-Millionen Views kurzerhand eingestampft. Wie gesagt, Mediakraft ist nicht unumstritten und hat schon einige Youtuber teilweise im öffentlichen Streit verloren (Simon Unge, LeFloid, Spacefrogs, …)

Das heißt, wenn der Fehler mit der robots.txt wirklich ein Fehler war und hier eine fragwürdige Neuausrichtung des Netzwerks versucht wird, könnte man sich einige Sachen ungefähr vorstellen, die ich dir als Leser überlassen will… #willnichtzubösesein

9 Comments

  1. Ich glaube nicht, dass dies die Absicht von Mediakraft ist, die Suchmaschinen auszuschließen! Wie du in deinem Artikel schon geschrieben hast: Warum sollten Sie dann die Meta-Informationen pflegen, wenn diese sowieso niemand liest.

    Mediakraft hat zwar viele Mitarbeiter im Bereich Influencer Marketing, aber vielleicht fehlt das Wissen, technische SEO-Know-how um solch einen Fehler zu entdecken!?!

    Vor 2 Jahren hatte das Unternehmen noch eine (fast) alleinige, beherrschende Marktstellung.

    Spätestens nach Unge und seiner #freiheit hat sich dies geändert und Mediakraft ist in der Tat auf organischen Traffic über Google angewiesen.

    Natürlich ist eine gewisse SEO-Visibility besonders zur Werbekundengewinnung von Vorteil. Sie suchen z.B. einen Influencer und kennen sich in der YouTube-Netzwerk-Branche nicht aus – Wie sollen sie dann auf Mediakraft stoßen?

  2. OK, mittlerweile (nach etwa 12 Stunden) hat Mediakraft kommentarlos die robots.txt angepasst. Oder eben nur diesen einen Haken in den Einstellungen entfernt. Die robots.txt blockiert jetzt nur noch – wie für WordPress gewöhnlich – die Admin-Bereiche.

    Trotzdem war das ein sehr spannendes Ding. Weil dadurch wissen wir ein paar Sachen:

    • Es handelte sich um einen Fehler
      weil sonst hätten sie es nicht so schnell und ohne Rückmeldung repariert.
    • Mediakraft antwortet nicht gerne
      Weil sonst hätte ich nicht selbst nachgesehen, sondern sie hätten mir selbst die Antwort zugeschickt.
    • Zumindest ein „Danke für den Hinweis“, wie es der TV-Sender viva getan hat, wäre angebracht gewesen.
      Aber stattdessen: Keine Rückmeldung.
    • SEO und Video SEO scheint kein Ding zu sein für Mediakraft.
      Weil sonst hätte ich den Fehler nie gesehen, weil er nie dagewesen wäre.

    Schöne Grüße

    Pascal

    1. Vorbei ist es damit aber noch lange nicht.

      Zwar haben die Suchmaschinen wieder Zugriff auf die Webseiten von Mediakraft. Dafür stehen aber alle Unterseiten momentan auf NOINDEX…

  3. Da hat wohl ein Praktikant „indexieren“ mit „indizieren“ verwechselt und sich gedacht „Oha, das klick ich doch besser mal an. Mann, der Chef wird stolz auf mich sein.“

  4. In der Folge der „negativen“ Einwirkung meinerseits möchte ich Mediakraft auch die Möglichkeit geben, ihr Statement zu diesem Vorfall hier und unzensiert wiederzugeben:

    Hallo Pascal,

    danke für Deine E-Mail und das Lob für die Fachvorträge, welches uns sehr gefreut hat.

    Warum die robot.txt so aufgesetzt wurde, ließ sich nicht mehr nachvollziehen.

    In der Folge ist es wohl einfach nicht aufgefallen, da jeder, der den Kontakt zu Mediakraft gesucht hat, ihn schnell gefunden hat aufgrund des Top-Rankings der Domain in der SERP.

    Insofern ist die Corporate-Website ein Sonderfall, auf deren Suchmaschinen-Optimierung keine große Awareness lag, weshalb auch keine Manpower investiert wurde.

    Viele Grüße
    Michael

    Mit diesem Comment möchte ich es auch weiter belassen und nicht noch tiefer in die Seite bzw. das Projekt „eindringen“. Dass viel gemacht werden könnte, wenn man wollte, stellt jeder fest. Aber den Finger werde ich an dieser Stelle nicht weiter in die Wunde legen. Die Jungens haben genug zu tun.

    Trotzdem hat es Spaß gemacht. *räusper* =D ^^

    Schöne Grüße

    Pascal

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *