Crawl-Budget

Bevor eine Webseite in den Suchergebnissen der Google-Suchmaschine angezeigt werden kann, muss sie erfasst und indexiert werden. Google weist hierfür jeder Webseite ein bestimmtes Crawl-Budget zu.

Was ist das Crawl-Budget?

Das Crawl-Budget bezeichnet die von der Google Suchmaschine für das Erfassen und Indexieren einer Webseite investierten Zeiten und Ressourcen. Das bedeutet, dass die Crawler der Google Suchmaschine nur eine begrenzte Zeit für die Erfassung der Seiten einer Domain zur Verfügung haben, bevor sie zu einer anderen Webseite wechseln. Wie viele Unterseiten einer Webseite in dieser Zeit erfasst und indexiert werden können, ist von verschiedenen Faktoren abhängig. Wie oft der Crawlvorgang im Laufe der Zeit wiederholt wird, ist in erster Linie von der Qualität und der Popularität der Webseite abhängig.

Bedeutung des Crawl-Budget für die Suchmaschinenoptimierung (SEO)

Webseiten, die aus Sicht Googles den Usern nur einen geringen Mehrwert bieten, erhalten ein geringes Budget zugewiesen. Ebenso werden gehackte Webseiten und Webseiten, auf denen die Suchmaschine Duplikat Content findet, nur in geringem Maße gecrawlt. Webseiten, die zwar grundsätzlich aufgerufen werden können, aber nicht den erwarteten Inhalt bieten oder eine 404-Fehlermeldung verursachen, erhalten ebenfalls nur ein geringes Crawling-Budget zugewiesen.

Webseitenbetreiber finden Informationen über das Crawl-Budget und die Aktivitäten des Googlebot auf der eigenen Webseite in der Google Search Console unter dem Punkt „Crawling-Statistiken“