Im Bereich der Suchmaschinenoptimierung spricht man von Bots und Crawler, wenn Suchmaschinen selbst einzelne Seiten untersuchen, um deren Inhalte auszulesen. Ziel der Bots und Crawler ist es, die Inhalte von Unterseiten auszulesen um sie als nächstes in die eigene Suchmaschine zu übernehmen.
Suchmaschinen wie Google verfügen über mehrere Bots bzw. Crawler, wie etwa beispielsweise:
Der Standard-Bot von Google. Er untersucht in regelmäßigen Abständen die Unterseiten auf neue Webinhalte und aktualisierte Webinhalte.
Ein mobiler Bot von Google. Dieser Bot untersucht Unterseiten darauf, ob die Unterseiten auch mobilfreundlich sind bzw. ob diese Unterseite anderweitig über eine mobilfreundliche Version verfügt. Dieser Bot ist besonders wichtig für das Ranking auf mobilen Endgeräten (wie etwa Smartphones).
Ein spezieller Bot, der hauptsächlich für die Google-Bildersuche verantwortlich ist. Dieser Bot untersucht Bilder auf einer Unterseite, bewertet den Kontext in dem das Bild eingebettet ist, das alt-Attribut usw. Das Ziel ist, Bilder in der Google Bildersuche zu priorisieren (also ranken zu lassen).