robots.txt: Crawler steuern – auch für KI-Bots
Was ist die robots.txt? Aufbau, Anweisungen und Beispiele für Googlebot und KI-Crawler wie GPTBot und OAI-SearchBot – plus häufige Fehler.
Inhalt 9 Abschnitte
Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Crawlern von Suchmaschinen und KI-Anbietern mitteilt, welche Bereiche sie abrufen dürfen und welche nicht. Sie steuert das Crawling – nicht aber, ob eine Seite im Index erscheint.
Was ist die robots.txt?
Die robots.txt folgt dem Robots Exclusion Protocol, das seit 2022 als offizieller Internetstandard (RFC 9309) festgeschrieben ist. Seriöse Crawler wie der Googlebot lesen die Datei, bevor sie eine Website durchsuchen, und halten sich an ihre Regeln.
Die Datei muss genau unter https://www.ihre-domain.de/robots.txt erreichbar sein. Für jede Subdomain gilt eine eigene robots.txt. Google liest höchstens die ersten 500 KiB einer Datei.
Wie ist eine robots.txt aufgebaut?
User-agent: *
Disallow: /admin/
Disallow: /suche/
Allow: /
Sitemap: https://www.ihre-domain.de/sitemap.xml
Diese Datei erlaubt allen Crawlern den Zugriff auf die Website, schließt aber den Admin-Bereich und die interne Suche aus. Zusätzlich verweist sie auf die XML-Sitemap.
Welche Anweisungen gibt es?
| Anweisung | Bedeutung |
|---|---|
User-agent | Für welchen Crawler die folgenden Regeln gelten. * steht für alle. |
Disallow | Pfad, der nicht abgerufen werden soll. |
Allow | Erlaubt einen Pfad ausdrücklich, etwa innerhalb eines gesperrten Verzeichnisses. |
Sitemap | Adresse der XML-Sitemap. |
* und $ | Platzhalter für beliebige Zeichen und für das Ende einer URL, z. B. Disallow: /*.pdf$. |
Wie steuert man KI-Crawler?
Neben Suchmaschinen durchsuchen heute auch KI-Anbieter das Web. Viele unterscheiden dabei zwischen Crawlern für das Training ihrer Modelle und Crawlern für ihre Suchfunktion:
| User-agent | Anbieter | Zweck |
|---|---|---|
OAI-SearchBot | OpenAI | Suche in ChatGPT |
GPTBot | OpenAI | Inhalte für das Modelltraining |
Google-Extended | Nutzung für Gemini-Modelle; hat keinen Einfluss auf die Google-Suche | |
ClaudeBot | Anthropic | Inhalte für das Modelltraining |
PerplexityBot | Perplexity | Suche und Antworten in Perplexity |
CCBot | Common Crawl | Offener Webarchiv-Datensatz, oft für KI-Training genutzt |
Ein Beispiel, das das Modelltraining ausschließt, die Sichtbarkeit in KI-Suchen aber erhält:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.ihre-domain.de/sitemap.xml
Ob sich das lohnt, ist eine strategische Entscheidung. Wer in KI-Antworten zitiert werden will, sollte die Such-Crawler nicht aussperren. Die AI Overviews von Google nutzen übrigens den normalen Googlebot – Google-Extended beeinflusst sie nicht. Mehr dazu im Eintrag zu GEO.
Best Practices
- Nur sperren, was nötig ist: Typisch sind Admin-Bereiche, interne Suchergebnisse und Filterseiten ohne eigenen Inhalt.
- CSS und JavaScript freigeben: Google muss Seiten so darstellen können wie ein Browser. Gesperrte Ressourcen führen zu Fehlinterpretationen.
- Sitemap eintragen: Der Verweis hilft allen Crawlern, Ihre Inhalte vollständig zu finden.
- Regelmäßig prüfen: In der Google Search Console zeigt der robots.txt-Bericht, welche Version Google kennt und ob Fehler auftreten.
Häufige Fehler
- Testsystem-Sperre übernommen: Ein
Disallow: /aus der Entwicklungsumgebung landet beim Livegang auf der echten Website und sperrt alles. - Noindex in der robots.txt: Google unterstützt diese Anweisung dort seit 2019 nicht mehr.
- Groß- und Kleinschreibung: Pfade sind schreibungsabhängig –
/Admin/ist nicht/admin/. - Sperren statt schützen: Die robots.txt ist öffentlich und kein Zugriffsschutz. Vertrauliche Bereiche gehören hinter ein Passwort.
Häufige Fragen
Brauche ich überhaupt eine robots.txt?
Nicht zwingend. Ohne Datei crawlen Suchmaschinen alles, was sie finden. Sinnvoll ist sie trotzdem, schon allein für den Verweis auf die Sitemap und um unwichtige Bereiche auszuschließen.
Wie schnell wirkt eine Änderung?
Google speichert die robots.txt in der Regel bis zu 24 Stunden zwischen. Änderungen greifen deshalb nicht sofort.
Fazit
Die robots.txt ist klein, aber folgenreich: Ein falscher Eintrag kann eine ganze Website unsichtbar machen. Richtig eingesetzt, lenkt sie Suchmaschinen und KI-Crawler gezielt auf die Inhalte, die zählen. Sie ist ein Baustein des technischen SEO und eng verknüpft mit der Indexierung.


