Das Crawl-Budget beschreibt die Ressourcen, die eine Suchmaschine – vor allem Google – für das Crawlen einer bestimmten Website zur Verfügung stellt.
Es setzt sich aus zwei Faktoren zusammen:
- Crawl Rate Limit – Wie viele Anfragen Google dem Server „zumutet“
- Crawl Demand – Wie relevant oder „wichtig“ Google die Seiten einschätzt
Je größer eine Website ist, desto wichtiger wird das Crawl-Budget: Nicht alle Seiten werden automatisch regelmäßig gecrawlt – vor allem, wenn viele unwichtige oder doppelte Inhalte existieren.
Typische Probleme bei schlechtem Crawl-Budget:
- Wichtige Seiten werden verspätet oder gar nicht indexiert
- Ressourcen werden für irrelevante Seiten (z. B. Filter, Duplicate Content) verschwendet
- SEO-Änderungen greifen verzögert
Maßnahmen zur Optimierung:
- Saubere URL-Struktur
- Ausschluss irrelevanter Seiten via robots.txt oder noindex
- Vermeidung von Duplicate Content
- Starke interne Verlinkung
Warum ist das wichtig?
Nur was gecrawlt wird, kann auch indexiert und gerankt werden. Ein effizientes Crawl-Budget sorgt dafür, dass Google sich auf die Seiten konzentriert, die wirklich zählen.
