(auch: Spider, Bot)
Ein Crawler ist ein automatisiertes Programm, das Websites systematisch durchsucht und analysiert.
Suchmaschinen wie Google, Bing oder Yahoo nutzen Crawler, um neue Seiten zu finden, bestehende Inhalte zu aktualisieren und die Informationen im Index zu speichern.
Wie funktioniert ein Crawler?
- Start: Der Crawler besucht bekannte Websites und folgt deren internen Links
- Erfassen: Er liest den HTML-Code, erkennt Texte, Bilder, Links und Metadaten
- Speichern: Die gefundenen Daten werden in den Index der Suchmaschine aufgenommen
- Wiederholen: Seiten werden regelmäßig neu gecrawlt, um Änderungen zu erkennen
Warum ist das wichtig für SEO?
- Nur gecrawlte und indexierte Seiten können in den Suchergebnissen erscheinen
- Fehler in der Seitenstruktur oder Blockierungen in der robots.txt können das Crawling verhindern
- Eine gute interne Verlinkung erleichtert dem Crawler die Arbeit
Praxis-Tipp
Überwache das Crawling deiner Website in der Google Search Console.
So erkennst du, welche Seiten indexiert wurden und ob es Crawling-Probleme gibt.