Die Trainer aussperren, die Bibliothekare hereinlassen.

Ein Anbieter, drei verschiedene Bots

Die meisten KI-Anbieter dokumentieren drei Arten von Besuchern. Ein Trainings-Crawler sammelt Seiten, die für künftige Modelle verwendet werden können. Ein Such-Crawler baut den Index auf, den ein Assistent durchsucht, wenn er mit Quellen antwortet. Ein Nutzer-Abruf öffnet eine bestimmte Seite, weil jemand im Chat danach gefragt hat.

Quellen: Crawler-Dokumentation von OpenAI, Crawler-Richtlinie von Anthropic, Bot-Dokumentation von Perplexity und Googles Liste gängiger Crawler. Diese Seiten ändern sich; lesen Sie die aktuelle Fassung, bevor Sie eine produktive Datei anpassen.

Wer GPTBot blockiert, verschwindet nicht aus der ChatGPT-Suche

Das ist die häufigste Verwechslung. OpenAI hält fest, dass jede Einstellung unabhängig ist: Eine Website kann OAI-SearchBot zulassen, um in Suchergebnissen zu erscheinen, und GPTBot gleichzeitig aussperren. «Wir haben GPTBot blockiert und sind aus ChatGPT verschwunden» bräuchte also eine andere Erklärung. Prüfen Sie OAI-SearchBot, Ihre Firewall – und ob die Seite für die Frage schlicht nicht relevant ist.

Umgekehrt gilt dasselbe. Wer GPTBot zulässt, erkauft sich damit keine Zitation. OpenAI beschreibt den Trainingszugang nicht als Rankingfaktor für die ChatGPT-Suche, und wir haben keinen Beleg dafür gesehen, dass er so wirkt. Wenn Ihnen jemand das Gegenteil erzählt, fragen Sie nach der Quelle.

Google und Bing funktionieren anders

Einen separaten «AI-Overviews-Bot», den Sie zulassen könnten, gibt es nicht. Googles Leitfaden zur KI-Optimierung hält fest, dass eine Seite indexiert und berechtigt sein muss, mit einem Snippet in der Google-Suche zu erscheinen, damit sie in den generativen KI-Funktionen gezeigt wird. In der Praxis heisst das: normaler Zugang für Googlebot und die üblichen Snippet-Einstellungen. Google-Extended ist ein separater Ausschluss für Training und Gemini-Grounding, und laut Google ist er kein Rankingsignal für die Suche.

Die Search Console bietet zudem eine eigene Einstellung für generative KI in der Suche. Ein Blick lohnt sich, wenn Ihre Seiten zwar ranken, aber nie in AI Overviews auftauchen.

Microsoft hat seine Copilot-Steuerung über bestehende Bing-Tags angekündigt statt über einen neuen Crawler. Laut der Ankündigung von 2023 hält NOARCHIVE eine Seite aus Chat-Antworten und dem Modelltraining heraus, während NOCACHE die Antworten auf URL, Titel und Snippet beschränkt. Search Engine Journal berichtete im Februar 2026, dass Bings überarbeitete Richtlinien NOARCHIVE weiterhin so beschreiben, dass Inhalte nicht in Copilot-Antworten erscheinen. Wir konnten die offizielle Richtlinienseite nicht laden, um den Wortlaut zu bestätigen. Prüfen Sie sie also, bevor Sie sich auf die genaue Wirkung verlassen.

Was llms.txt bewirkt (bisher: nicht viel)

llms.txt wurde im September 2024 als Markdown-Datei vorgeschlagen, die Sprachmodellen eine aufgeräumte Zusammenfassung einer Website liefert. Es ist ein Vorschlag – kein Standard, zu dem sich die grossen Assistenten verpflichtet haben.

Google ist hier ungewöhnlich deutlich: Eine llms.txt-Datei werde Ihrer Sichtbarkeit in der Google-Suche «weder schaden noch helfen», weil die Google-Suche sie ignoriert. Ahrefs hat im Mai 2026 in seinen eigenen Analysedaten Anfragen an llms.txt-Dateien gemessen, über 137.210 Domains hinweg, und berichtet, dass 97 % der gefundenen Dateien überhaupt keine Anfragen erhielten. Das sind Anbieterdaten von SEO-affinen Websites. Betrachten Sie sie also als starken Hinweis, nicht als Vollerhebung.

Kurz gesagt: Wenn die Datei zehn Minuten kostet und einem Entwicklertool hilft, das Sie tatsächlich nutzen – gerne. Wenn eine Agentur sie als Zitationsstrategie verkauft, verkauft sie Ihnen eine Textdatei.

Der eigentliche Türsteher ist vielleicht nicht Ihre robots.txt

robots.txt ist eine Bitte, kein Schloss. Der Standard RFC 9309 hält fest, dass die Regeln «keine Form der Zugangsautorisierung» sind. Für Marketingteams ist das umgekehrte Problem häufiger: Etwas vor der Website blockiert Bots, die in der robots.txt ausdrücklich willkommen sind.

Cloudflare zum Beispiel begann im Juli 2025, neue Domains zu fragen, ob KI-Crawler zugelassen werden sollen, und die Einstellungen für KI-Bots haben sich seither verändert, auch im Umgang mit Bots, die Suche und Training vermischen. Hat beim Einrichten jemand ein Häkchen gesetzt, sagt Ihre robots.txt vielleicht Ja, während die Firewall Nein sagt.

• Öffnen Sie Ihre live geschaltete robots.txt und notieren Sie jeden KI-User-Agent, der darin vorkommt.
• Prüfen Sie Ihr CDN oder die Firewall Ihres Hostings auf KI-Bot-Regeln, Bot-Abwehrmodi oder Challenges auf öffentlichen Seiten.
• Schauen Sie in Ihre Server- oder CDN-Logs nach OAI-SearchBot, Claude-SearchBot, PerplexityBot und Bingbot. Erhalten sie 200er-Antworten – oder 403er und Challenges?
• Halten Sie die Entscheidung pro Bot schriftlich fest, mit Begründung und Datum. Ihr künftiges Ich wird wissen wollen, warum.

Eine vernünftige Grundeinstellung für die meisten Marken

Wenn Sie in KI-Antworten empfohlen werden möchten, ist das ein vernünftiger Ausgangspunkt: Such-Crawler zulassen, über Trainings-Crawler separat und nach eigenen Kriterien entscheiden und den normalen Zugang für Suchmaschinen nicht anfassen. Verlage mit wertvollen Archiven entscheiden sich womöglich mit gutem Grund anders; Lizenzierung ist eine Geschäftsentscheidung, kein SEO-Trick.

Und dann: messen statt raten. Zugang macht eine Zitation lediglich möglich. Ob Sie tatsächlich genannt werden, hängt davon ab, ob Ihre Seite die Frage der Käufer besser beantwortet als die Alternativen. Unser Leitfaden zur Verbesserung der KI-Markensichtbarkeit behandelt diesen Teil, und die kostenlose Ausgangsmessung zeigt, wie Sie vorher und nachher prüfen.