Crawl Rate: Häufigkeit der Suchmaschinen-Indizierung
Die Crawl Rate bezeichnet die Häufigkeit, mit der Suchmaschinen-Crawler (wie Googlebot) eine Website durchsuchen, um deren Inhalte zu indexieren
- SEO & KI-Suche
- Technisches SEO
- 3 Min. Lesezeit
- Aktualisiert am
Inhalt 8 Abschnitte
Die Crawl Rate beschreibt, wie viele Anfragen der Crawler einer Suchmaschine – etwa der Googlebot – in einem bestimmten Zeitraum an eine Website stellt. Sie hängt davon ab, wie viel der Server verkraftet und wie wichtig und aktuell die Inhalte für die Suchmaschine sind.
Crawl Rate und Crawl Budget
Eng verwandt ist das Crawl Budget: die Menge an URLs, die Google auf einer Website crawlen kann und will. Google beschreibt es als Zusammenspiel aus zwei Faktoren:
| Faktor | Bedeutung |
|---|---|
| Crawling-Kapazität | Wie viele gleichzeitige Verbindungen der Server zuverlässig bedienen kann. Antwortet er schnell und fehlerfrei, crawlt Google mehr; bei Fehlern oder langen Antwortzeiten weniger. |
| Crawling-Bedarf | Wie gefragt und aktuell die Inhalte sind. Beliebte und häufig geänderte Seiten werden öfter besucht. |
Wichtige Änderung: kein Regler mehr in der Search Console
Früher ließ sich die Crawl Rate in der Google Search Console manuell begrenzen. Google hat dieses Werkzeug Anfang 2024 eingestellt. Die Crawl Rate wird seitdem vollständig automatisch angepasst – anhand der Reaktionen des Servers.
Wer Googlebot kurzfristig bremsen muss, etwa bei Serverproblemen, kann vorübergehend mit den Statuscodes 500, 503 oder 429 antworten. Google reduziert das Crawling dann automatisch. Das ist nur für kurze Zeiträume gedacht, denn dauerhafte Fehler können dazu führen, dass Seiten aus dem Index fallen.
Crawling beobachten: der Bericht „Crawling-Statistik“
In der Google Search Console finden Sie unter „Einstellungen“ den Bericht Crawling-Statistik. Er zeigt
- die Zahl der Crawling-Anfragen pro Tag,
- die durchschnittliche Antwortzeit des Servers,
- die Verteilung nach Antwortcodes, Dateitypen und Zweck (Neuentdeckung oder Aktualisierung)
- sowie Probleme bei der Erreichbarkeit des Hosts.
Für Bing bieten die Bing Webmaster Tools eine eigene Steuerung der Crawling-Zeiten.
So nutzen Sie das Crawling effizient
- Schneller Server: Kurze Antwortzeiten erhöhen die Crawling-Kapazität. Mehr dazu im Eintrag zum Pagespeed.
- Saubere Sitemap: Eine XML-Sitemap mit ehrlichen Änderungsdaten zeigt, was neu ist.
- Altlasten aufräumen: Entfernte Inhalte mit 404 oder 410 beantworten, umgezogene mit einer 301-Weiterleitung – ohne Ketten.
- Unnötige URLs vermeiden: Filter, Sortierungen und Sitzungsparameter erzeugen schnell Tausende fast gleicher Adressen. Sie lassen sich über die robots.txt vom Crawling ausschließen.
- Gute interne Verlinkung: Wichtige Seiten mit wenigen Klicks erreichbar machen.
Häufige Fehler
- Dauerhafte Serverfehler: Wer zu oft mit 5xx antwortet, wird seltener gecrawlt.
- Wichtige Bereiche gesperrt: Eine zu strenge robots.txt verhindert, dass neue Inhalte gefunden werden.
- Weiterleitungsketten: Jede zusätzliche Weiterleitung kostet Crawling-Anfragen.
- Soft 404: Leere Seiten mit Status 200 verschwenden Crawling und werden von Google trotzdem als fehlend erkannt.
Häufige Fragen
Kann ich Google zwingen, öfter zu crawlen?
Nein. Aktuelle, gefragte Inhalte und ein schneller Server führen aber dazu, dass Google von selbst häufiger vorbeikommt. Einzelne Seiten lassen sich in der Search Console zur erneuten Indexierung einreichen.
Crawlen KI-Crawler genauso?
KI-Dienste nutzen eigene Crawler mit eigenem Verhalten. Sie lassen sich in der robots.txt getrennt steuern – mehr dazu im Eintrag zu KI-Crawlern.
Fazit
Die Crawl Rate lässt sich heute nicht mehr per Regler einstellen, aber gut beeinflussen: mit einem schnellen Server, einer sauberen Struktur und konsequent aufgeräumten Altlasten. Eng damit verbunden ist die Indexierung.
Quellen
Geschäftsführer und Mitgründer von Leadsleader. Verantwortet die Sichtbarkeit unserer Portale in Google und KI-Suchsystemen.
