Was ist die robots.txt?
Eine Textdatei im Wurzelverzeichnis der Domain, die Crawlern mitteilt, welche Bereiche sie besuchen dürfen. Seriöse Bots halten sich daran — ein echter Schutz ist sie aber nicht.
Typische Einsatzzwecke
- Admin- oder interne Pfade aus den Suchergebnissen heraushalten
- KI-Trainings-Bots (GPTBot, CCBot, Google-Extended) aussperren
- Sitemap eintragen, damit Suchmaschinen alle Seiten finden
Häufige Fragen zur robots.txt
Hält sich jeder Bot daran?
Nein, sie ist nur eine Bitte. Wirklich schützen kann z. B. Basic Auth (htpasswd-Generator).
Versteckt Disallow eine Seite vor Google?
Nicht zuverlässig — für sicheren Ausschluss noindex oder Passwortschutz verwenden.
Wo muss die Datei liegen?
Direkt im Wurzelverzeichnis: https://deine-domain/robots.txt — Unterverzeichnisse werden ignoriert.
