robots.txt: Crawler steuern – auch für KI-Bots

Was ist die robots.txt? Aufbau, Anweisungen und Beispiele für Googlebot und KI-Crawler wie GPTBot und OAI-SearchBot – plus häufige Fehler.

  • SEO & KI-Suche
  • Technisches SEO
  • 3 Min. Lesezeit
  • Aktualisiert am
Inhalt 9 Abschnitte
  1. Was ist die robots.txt?
  2. Wie ist eine robots.txt aufgebaut?
  3. Welche Anweisungen gibt es?
  4. Wie steuert man KI-Crawler?
  5. Best Practices
  6. Häufige Fehler
  7. Häufige Fragen
  8. Fazit
  9. Quellen

Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Crawlern von Suchmaschinen und KI-Anbietern mitteilt, welche Bereiche sie abrufen dürfen und welche nicht. Sie steuert das Crawling – nicht aber, ob eine Seite im Index erscheint.

Was ist die robots.txt?

Die robots.txt folgt dem Robots Exclusion Protocol, das seit 2022 als offizieller Internetstandard (RFC 9309) festgeschrieben ist. Seriöse Crawler wie der Googlebot lesen die Datei, bevor sie eine Website durchsuchen, und halten sich an ihre Regeln.

Die Datei muss genau unter https://www.ihre-domain.de/robots.txt erreichbar sein. Für jede Subdomain gilt eine eigene robots.txt. Google liest höchstens die ersten 500 KiB einer Datei.

Wie ist eine robots.txt aufgebaut?

User-agent: *
Disallow: /admin/
Disallow: /suche/
Allow: /

Sitemap: https://www.ihre-domain.de/sitemap.xml

Diese Datei erlaubt allen Crawlern den Zugriff auf die Website, schließt aber den Admin-Bereich und die interne Suche aus. Zusätzlich verweist sie auf die XML-Sitemap.

Welche Anweisungen gibt es?

AnweisungBedeutung
User-agentFür welchen Crawler die folgenden Regeln gelten. * steht für alle.
DisallowPfad, der nicht abgerufen werden soll.
AllowErlaubt einen Pfad ausdrücklich, etwa innerhalb eines gesperrten Verzeichnisses.
SitemapAdresse der XML-Sitemap.
* und $Platzhalter für beliebige Zeichen und für das Ende einer URL, z. B. Disallow: /*.pdf$.

Wie steuert man KI-Crawler?

Neben Suchmaschinen durchsuchen heute auch KI-Anbieter das Web. Viele unterscheiden dabei zwischen Crawlern für das Training ihrer Modelle und Crawlern für ihre Suchfunktion:

User-agentAnbieterZweck
OAI-SearchBotOpenAISuche in ChatGPT
GPTBotOpenAIInhalte für das Modelltraining
Google-ExtendedGoogleNutzung für Gemini-Modelle; hat keinen Einfluss auf die Google-Suche
ClaudeBotAnthropicInhalte für das Modelltraining
PerplexityBotPerplexitySuche und Antworten in Perplexity
CCBotCommon CrawlOffener Webarchiv-Datensatz, oft für KI-Training genutzt

Ein Beispiel, das das Modelltraining ausschließt, die Sichtbarkeit in KI-Suchen aber erhält:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.ihre-domain.de/sitemap.xml

Ob sich das lohnt, ist eine strategische Entscheidung. Wer in KI-Antworten zitiert werden will, sollte die Such-Crawler nicht aussperren. Die AI Overviews von Google nutzen übrigens den normalen Googlebot – Google-Extended beeinflusst sie nicht. Mehr dazu im Eintrag zu GEO.

Best Practices

  1. Nur sperren, was nötig ist: Typisch sind Admin-Bereiche, interne Suchergebnisse und Filterseiten ohne eigenen Inhalt.
  2. CSS und JavaScript freigeben: Google muss Seiten so darstellen können wie ein Browser. Gesperrte Ressourcen führen zu Fehlinterpretationen.
  3. Sitemap eintragen: Der Verweis hilft allen Crawlern, Ihre Inhalte vollständig zu finden.
  4. Regelmäßig prüfen: In der Google Search Console zeigt der robots.txt-Bericht, welche Version Google kennt und ob Fehler auftreten.

Häufige Fehler

  • Testsystem-Sperre übernommen: Ein Disallow: / aus der Entwicklungsumgebung landet beim Livegang auf der echten Website und sperrt alles.
  • Noindex in der robots.txt: Google unterstützt diese Anweisung dort seit 2019 nicht mehr.
  • Groß- und Kleinschreibung: Pfade sind schreibungsabhängig – /Admin/ ist nicht /admin/.
  • Sperren statt schützen: Die robots.txt ist öffentlich und kein Zugriffsschutz. Vertrauliche Bereiche gehören hinter ein Passwort.

Häufige Fragen

Brauche ich überhaupt eine robots.txt?

Nicht zwingend. Ohne Datei crawlen Suchmaschinen alles, was sie finden. Sinnvoll ist sie trotzdem, schon allein für den Verweis auf die Sitemap und um unwichtige Bereiche auszuschließen.

Wie schnell wirkt eine Änderung?

Google speichert die robots.txt in der Regel bis zu 24 Stunden zwischen. Änderungen greifen deshalb nicht sofort.

Fazit

Die robots.txt ist klein, aber folgenreich: Ein falscher Eintrag kann eine ganze Website unsichtbar machen. Richtig eingesetzt, lenkt sie Suchmaschinen und KI-Crawler gezielt auf die Inhalte, die zählen. Sie ist ein Baustein des technischen SEO und eng verknüpft mit der Indexierung.

Quellen

Christian Hollmann
Search, GEO & Informationsarchitektur

Christian Hollmann

Geschäftsführer und Mitgründer von Leadsleader. Verantwortet die Sichtbarkeit unserer Portale in Google und KI-Suchsystemen.

Verwandte Begriffe

Alle Begriffe zu SEO & KI-Suche

Aus dem Maschinenraum

Was wir beim Bauen und Betreiben unserer Portale über Suche, KI und Lead-Strecken lernen. Alle Artikel