robots.txt: Steuerung der Suchmaschinen-Crawling-Richtlinien für Ihre Website
Die robots.txt-Datei ist eine Textdatei auf einer Website, die Suchmaschinenrobotern Anweisungen darüber gibt, welche Bereiche der Website gecrawlt oder nicht gecrawlt werden sollen
-
28.11.2023, 21:45 | Von: Christian Hollmann
Aktualisiert am: 07. April 2025, 20:45
robots.txt: Steuern, was Google sehen darf
Die robots.txt ist eine einfache Textdatei im Stammverzeichnis einer Website. Sie sagt Suchmaschinen, welche Bereiche der Seite sie crawlen oder ignorieren sollen. Richtig eingesetzt, ist sie ein zentrales Werkzeug zur technischen SEO-Optimierung.
Was ist eine robots.txt?
Die robots.txt ist Teil des Robots Exclusion Standards. Sie gibt Crawlern Anweisungen - z. B. von Google, Bing oder anderen Suchmaschinen, welche Bereiche einer Website gecrawlt oder ausgeschlossen werden sollen.
Die Datei muss unter https://www.deinedomain.de/robots.txt erreichbar sein.
Beispiel: Eine einfache robots.txt-Datei
User-agent: *
Disallow: /admin/
Disallow: /login/
Allow: /
Diese Datei sagt: Alle Crawler (*) sollen /admin/ und /login/ nicht indexieren, den Rest aber schon.
robots.txt Direktiven im Überblick
| Direktive | Bedeutung |
|---|---|
| User-agent | Bestimmt, für welchen Crawler die Regel gilt (z. B. Googlebot) |
| Disallow | URL oder Verzeichnis, das nicht gecrawlt werden soll |
| Allow | Erlaubt explizit das Crawling bestimmter Pfade |
| Sitemap | Verweis auf die XML-Sitemap der Website |
Best Practices für die robots.txt (Steps 1-4)
Nur das blockieren, was nötig ist
Vermeide es, ganze Verzeichnisse wie /wp-content/ oder /images/ zu blocken, wenn Bilder in der Google Bildersuche erscheinen sollen.
Sensible Inhalte ausschließen
Blockiere Seiten wie Admin-Zugänge, Testumgebungen oder interne Suchergebnisseiten (/search/).
Sitemap eintragen
Füge einen Link zu deiner XML-Sitemap ein, damit Google deine Inhalte besser findet:
Sitemap: https://www.deinedomain.de/sitemap.xmlMit Tools überprüfen
Nutze die Google Search Console oder den robots.txt Tester, um zu prüfen, ob deine Regeln korrekt funktionieren.
Häufige Fehler bei der Nutzung von robots.txt
- Noindex in robots.txt: Google beachtet
noindexin robots.txt nicht - nutze stattdessen Meta-Tags. - Versehentliches Blockieren: Ein falscher Disallow-Eintrag kann deine gesamte Website aus dem Index werfen.
- Fehlende Sitemap: Wenn keine Sitemap eingetragen ist, erschwerst du Suchmaschinen die Indexierung.
- Groß-/Kleinschreibung: Achte auf exakte Pfade -
/Admin/ist nicht gleich/admin/.
Fazit
Die robots.txt ist ein kleines, aber mächtiges Instrument der technischen Suchmaschinenoptimierung. Wer es richtig einsetzt, hat die Kontrolle darüber, was Google und andere Crawler sehen - und was nicht. Gleichzeitig sollte sie mit Bedacht genutzt werden: Fehler können teuer sein.
Leadsleader ist spezialisiert auf SEO, Google Ads und Online-Marketing – unsere Bibliothek ergänzt dies mit praxisnahen Einblicken und fundiertem Wissen.
