Als Crawl Budget bezeichnet man eine gewisse Anzahl von Untersuchungen insbesondere durch Google, wie die Suchmaschinen eine komplette Website untersuchen. Gerade bei sehr großen Websites wie Online Shops oder Online Magazinen kommt Google häufig nicht auf jede Unterseite per sofort.
Das Crawl-Budget kann man aber durch verschiedene Mittel beinflussen. So kann man z. B. steuern, welche Seiten eine Suchmaschine besuchen darf oder welchen internen Links eine Suchmaschine folgen darf.
Hier muss man aber erst definieren, ab wann das Crawl-Budget eine wichtige Rolle einnimmt:
Inhaltsverzeichnis