So wie Google einen Googlebot hat, haben auch KI-Anbieter eigene Bots, die Websites lesen. Es gibt zwei Zwecke. Manche Bots sammeln Material zum Trainieren von Modellen, etwa GPTBot von OpenAI. Andere holen Seiten für aktuelle Antworten, etwa OAI-SearchBot für die ChatGPT-Suche oder PerplexityBot für Perplexity. Beides lässt sich in der robots.txt getrennt steuern.
Ein Ausschluss kann Folgen haben, die man nicht erwartet. Wer den Bot sperrt, der für die Suche zuständig ist, kann dort nicht mehr als Quelle erscheinen.
Was heißt das für Ihren Betrieb?
Sperren Sie KI-Bots nicht pauschal, wenn Sie in KI-Antworten vorkommen wollen. Ob Sie das Training zulassen, ist Ihre eigene Entscheidung. Zugleich gilt: Die Bots lesen den Text einer Seite im Quelltext, aber führen laut Vercel kein JavaScript aus (siehe Serverseitiges Rendern). Eine Datei wie llms.txt ist kein Ersatz.
Was wir dazu wissen
Laut Vercel und MERJ (Auswertung von Server-Logs, 17. Dezember 2024, inzwischen älter) führen GPTBot, OAI-SearchBot, ClaudeBot und PerplexityBot kein JavaScript aus, der Googlebot und Apples Bot schon. Eine Studie von Grossman und Kollegen vom 30. April 2026 fand, dass Publisher, die Google-Extended sperren, keine Gemini-Zitate bekommen (0). Ein Training-Opt-out kann also Sichtbarkeit kosten. Bei unseren Kundenseiten lassen wir die Such-Bots zu und besprechen die Trainings-Bots mit dem Betrieb.