Cloudflare blockiert ab 15. September bestimmte KI-Agenten: Was Websitebetreiber prüfen sollten
Stand: 13. August 2026
Am 15. September 2026 ändert Cloudflare seine Standardeinstellungen für automatisierte Zugriffe. Die Ankündigung klingt zunächst so, als würden Websites pauschal für ChatGPT, Perplexity und andere KI-Dienste gesperrt. Das ist nicht der Fall.
Die neuen Vorgaben betreffen vor allem neue Cloudflare-Kunden, neu hinzugefügte Websites und bestehende Free-Tarife, deren Einstellungen bis zum Stichtag nicht angepasst wurden. Standardmäßig bleiben Such-Crawler zugelassen. Bots für KI-Training und nutzergesteuerte Agenten werden auf Seiten blockiert, die selbst Werbung anzeigen. Eine Firmenwebsite, die über Google Ads beworben wird, ist deshalb nicht automatisch betroffen. Gemeint sind Seiten, auf denen Werbeanzeigen eingeblendet werden.
Trotzdem sollten Unternehmen ihre Einstellungen prüfen. Denn Cloudflare trennt künftig nicht nur zwischen erlaubten und gesperrten „KI-Bots“. Es bewertet, wofür ein Bot Inhalte abruft. Außerdem kann eine pauschale Trainingssperre nach Cloudflares eigener Beschreibung auch Crawler treffen, die für die klassische Suchmaschinenoptimierung wichtig sind.
Was Cloudflare am 15. September 2026 tatsächlich ändert
Cloudflare ordnet automatisierte Zugriffe künftig drei Verhaltensarten zu:
| Kategorie | Zweck | Beispiel |
| Search | Inhalte erfassen oder indexieren, damit sie später in Suchergebnissen erscheinen | OAI-SearchBot, PerplexityBot |
| Agent | Eine Seite in Echtzeit im Auftrag eines Nutzers aufrufen oder bedienen | ChatGPT-User, Perplexity-User |
| Training | Inhalte für das Training oder die Feinabstimmung von Modellen abrufen | GPTBot, ClaudeBot |
Für jede Kategorie stehen drei Einstellungen zur Verfügung: vollständig blockieren, nur auf Seiten mit Werbung blockieren oder zulassen. Die neuen Standardwerte lauten auf betroffenen Konten und Websites: Search zulassen, Agent und Training auf Seiten mit Werbung blockieren. Cloudflare beschreibt den Geltungsbereich in seiner Ankündigung vom 1. Juli 2026:
- neue Cloudflare-Kunden,
- neue Websites in bestehenden Cloudflare-Konten,
- bestehende Kunden im Free-Tarif, sofern sie bis zum 15. September keine eigene Auswahl treffen.
Bereits ausdrücklich konfigurierte Einstellungen lassen sich weiterhin ändern. Auch zahlende Bestandskunden sollten kontrollieren, welche Regeln aktiv sind, insbesondere wenn früher der allgemeine Schalter „Block AI Bots“ eingeschaltet wurde.
Die heikle Ausnahme: Crawler mit mehreren Zwecken
Ein Bot kann mehreren Kategorien zugeordnet sein. Dann setzt Cloudflare nach dem strengsten zutreffenden Wert durch. Nach Angaben des Unternehmens können dadurch unter anderem Googlebot, Applebot und Bingbot blockiert werden, wenn eine Website Training sperrt. Bei der Einstellung „nur auf Seiten mit Werbung blockieren“ betrifft dies entsprechend die erkannten Werbeseiten.
Das ist für Unternehmen wichtiger als die plakative Frage, ob „KI-Bots“ erlaubt sind. Wer Googlebot unbeabsichtigt abweist, riskiert nicht nur weniger Präsenz in KI-Antworten, sondern Probleme beim Crawling für die klassische Suche. Die Anzeige „Search: Allow“ allein reicht deshalb nicht als Kontrolle. Auch die Training-Regel und bestehende Einzelfallregeln müssen geprüft werden.
Warum „für ChatGPT unsichtbar“ zu pauschal ist
ChatGPT verwendet nicht nur einen einzigen Bot. OpenAI unterscheidet mindestens drei Zugriffsarten mit unterschiedlichen Aufgaben. Für die Sichtbarkeit in der ChatGPT-Suche ist vor allem OAI-SearchBot relevant. OpenAI erklärt, dass gesperrte Seiten nicht als Inhalt in ChatGPT-Suchantworten erscheinen; als reine Navigationslinks können sie unter bestimmten Umständen trotzdem auftauchen.
GPTBot dient dagegen dem möglichen Modelltraining. Seine Sperrung schließt eine Website nicht automatisch aus der ChatGPT-Suche aus. ChatGPT-User ruft Seiten bei bestimmten Nutzeraktionen auf und entscheidet ebenfalls nicht über die Aufnahme in die Suche. Diese Trennung ist in der offiziellen OpenAI-Dokumentation beschrieben.
Bei Perplexity ist die Aufteilung ähnlich. PerplexityBot dient der Suchfunktion, Perplexity-User dem Abruf im Auftrag eines Nutzers. Perplexity empfiehlt Websitebetreibern in seiner Crawler-Dokumentation, den Suchbot und die veröffentlichten IP-Bereiche zuzulassen, wenn Inhalte in den Ergebnissen erscheinen sollen.
Google-Extended ist ein Sonderfall. Der Name klingt wie ein Crawler, ist aber laut Google-Dokumentation kein eigener HTTP-User-Agent. Es handelt sich um ein Steuerungssignal in der robots.txt. Damit lässt sich festlegen, ob bereits von Google erfasste Inhalte für das Training künftiger Gemini-Modelle und für bestimmte Formen der Gemini-Grounding-Nutzung verwendet werden dürfen.
Eine Sperre von Google-Extended beeinflusst nach Angaben von Google weder die Aufnahme in die Google-Suche noch das Ranking. Sie kann jedoch die Verwendung in den genannten Gemini-Funktionen einschränken.
„Sichtbar“ besteht somit aus mehreren Ebenen: Ein Dienst muss die Website technisch erreichen dürfen, der passende Such-Crawler muss zugelassen sein und der Inhalt muss für eine konkrete Anfrage relevant sein. Eine Freigabe ermöglicht den Zugriff, garantiert aber weder eine Erwähnung noch eine gute Position.
Der 5-Minuten-Selbsttest für Ihre Website
1. Prüfen, ob der Webverkehr über Cloudflare läuft
Öffnen Sie die Entwicklerwerkzeuge Ihres Browsers, rufen Sie Ihre Startseite neu auf und prüfen Sie unter „Network“ beziehungsweise „Netzwerk“ die Antwort-Header des HTML-Dokuments. Ein Header namens cf-ray zeigt laut Cloudflare-Dokumentation, dass die Anfrage über Cloudflare verarbeitet wurde.
Alternativ können Sie in einem Terminal folgenden Befehl ausführen:
curl -I https://www.ihre-domain.deFehlt der Header, ist für diesen Aufruf kein Cloudflare-Proxy nachgewiesen. Das Konto kann Cloudflare dennoch für DNS, andere Hostnamen oder eine besondere Teilkonfiguration verwenden. Fragen Sie im Zweifel Hoster, Webagentur oder den technischen Administrator.
2. Die öffentlich ausgelieferte robots.txt lesen
Rufen Sie https://www.ihre-domain.de/robots.txt auf und suchen Sie nach Begriffen wie OAI-SearchBot, GPTBot, PerplexityBot, Google-Extended und ClaudeBot.
Kontrollieren Sie die ausgelieferte Datei, nicht nur eine lokale WordPress-Datei. Wenn Cloudflares verwaltete robots.txt aktiviert ist, kann Cloudflare eigene Regeln vor die Datei des Servers setzen.
3. Die drei Cloudflare-Richtlinien kontrollieren
Der dokumentierte Pfad lautet derzeit:
Cloudflare-Dashboard → Konto und Domain auswählen → Security → Security Settings → Configure AI bot policies
Prüfen Sie dort die Werte für Search, Agent und Training. Für einen internen Nachweis eignet sich ein Screenshot, auf dem die drei Kategorien und ihre Auswahl sichtbar sind. Kontoname, Domain-ID und andere vertrauliche Angaben sollten geschwärzt werden.
4. Einzelne Crawler und Blockierungen ansehen
Ein zweiter Pfad führt zu:
Cloudflare-Dashboard → Domain → AI Crawl Control → Security
Dort zeigt Cloudflare erkannte Crawler, Anfragen, nicht erfolgreiche Zugriffe und die jeweilige Aktion. Ein fehlgeschlagener Request ist nicht automatisch durch AI Crawl Control verursacht; auch andere Firewall-Regeln oder Serverfehler kommen infrage. Prüfen Sie daher zusätzlich vorhandene WAF-Regeln, Bot-Schutzfunktionen und Sicherheits-Plugins.
5. Die Entscheidung dokumentieren
Notieren Sie für jede Kategorie den aktuellen Wert, den gewünschten Wert und den Grund. So lässt sich nach dem 15. September prüfen, ob Cloudflare die beabsichtigte Konfiguration tatsächlich ausliefert.
Welche Bots sollten Unternehmen erlauben oder blockieren?
Für eine öffentlich zugängliche Firmenwebsite, die Anfragen gewinnen soll, ist folgende Einordnung meist ein sinnvoller Ausgangspunkt:
| Bot oder Signal | Funktion | Typische Entscheidung für eine Lead-Website |
| OAI-SearchBot | Inhalte in der ChatGPT-Suche auffindbar und zitierbar machen | Zulassen, wenn KI-Sichtbarkeit gewünscht ist |
| ChatGPT-User | Seiten aufgrund einer konkreten Nutzeraktion abrufen | Meist zulassen, sensible Bereiche technisch schützen |
| GPTBot | Inhalte für mögliches OpenAI-Modelltraining abrufen | Strategische Wahl; eine Sperre beendet nicht die ChatGPT-Suche |
| PerplexityBot | Inhalte in Perplexity-Suchergebnissen anzeigen | Zulassen, wenn Auffindbarkeit gewünscht ist |
| Perplexity-User | Nutzerinitiierte Seitenabrufe ausführen | Meist zulassen, Formulare und Kontobereiche absichern |
| Googlebot | Google-Suche und weitere Google-Suchfunktionen versorgen | Auf öffentlichen SEO-Seiten nicht blockieren |
| Google-Extended | Nutzung für Gemini-Training und bestimmte Grounding-Funktionen steuern | Nutzen gegen Inhaltskontrolle abwägen; Google-Suche bleibt laut Google unberührt |
Ein pauschales „Training blockieren“ ist für Verlage mit exklusiven Inhalten nachvollziehbar. Bei einer KMU-Website, deren Leistungsseiten möglichst breit gefunden werden sollen, ist eine crawlerbezogene Entscheidung häufig präziser.
Cloudflare ermöglicht sowohl Kategorienregeln als auch Maßnahmen für einzelne erkannte Crawler. Prüfen Sie dabei, ob eine übergeordnete WAF-Regel die Freigabe später wieder aufhebt.
Geschützte Kundenportale, interne Dokumente und nicht öffentliche Preisdateien gehören nicht über robots.txt abgesichert. Die Datei ist öffentlich und ihre Befolgung freiwillig. Solche Inhalte benötigen Anmeldung, Rechteprüfung und gegebenenfalls eine technische Sperre auf Server- oder Firewall-Ebene.
Beispiel für eine differenzierte robots.txt
Das folgende Muster hält ChatGPT- und Perplexity-Suche offen, lehnt OpenAI-Training ab und lässt Google-Extended zunächst zu. Es ist nur ein Ausgangspunkt und muss mit bestehenden Regeln, Sitemap-Pfad und der Cloudflare-Konfiguration abgeglichen werden.
# ChatGPT-Suche zulassen
User-agent: OAI-SearchBot
Allow: /
# Perplexity-Suche zulassen
User-agent: PerplexityBot
Allow: /
# OpenAI-Modelltraining ablehnen
User-agent: GPTBot
Disallow: /
# Klassische Google-Suche zulassen
User-agent: Googlebot
Allow: /
# Gemini-Training und Grounding zulassen
# Bei gegenteiliger Entscheidung "Allow" durch "Disallow" ersetzen
User-agent: Google-Extended
Allow: /
Sitemap: https://www.ihre-domain.de/sitemap_index.xmlEine Allow-Regel in der robots.txt hebt keine Blockierung in Cloudflare auf. AI Crawl Control und WAF-Regeln werden technisch am Netzwerkrand durchgesetzt, während die robots.txt eine Anweisung an kooperative Crawler ist.
Wer Cloudflares verwaltete robots.txt nutzt, sollte ebenfalls prüfen: Bei aktivierter Trainingssperre setzt Cloudflare eigene Disallow-Gruppen unter anderem für GPTBot und Google-Extended vor die vorhandene Datei.
Pay Per Crawl ist für KMU noch keine allgemeine Einnahmequelle
Cloudflare verbindet die neue Bot-Steuerung mit Modellen zur Vergütung von Inhalten. Das klingt auch für kleinere Websites interessant. Nach dem aktuellen Stand ist Pay Per Crawl jedoch eine geschlossene Beta; die Aktion „Charge“ wird in der Dokumentation als private Beta geführt.
Unternehmen sollten ihre Zugriffsstrategie deshalb nicht auf erwartete Crawler-Einnahmen stützen.
Für die meisten KMU ist zunächst wichtiger, Suchzugriffe, Nutzeragenten und Training bewusst voneinander zu trennen. Eine Leistungsseite, die Anfragen erzeugen soll, verfolgt ein anderes Ziel als ein kostenpflichtiges Facharchiv oder ein werbefinanziertes Medienangebot.
Fazit: Der Stichtag ist ein Konfigurationsthema, kein pauschaler Sichtbarkeitsverlust
Cloudflare macht Websites am 15. September nicht automatisch für ChatGPT und andere KI-Dienste unsichtbar. Betroffene Standardwerte gelten nur für bestimmte Konten und Websites, und die Agenten- sowie Trainingssperre setzt zunächst auf Seiten mit eingeblendeter Werbung an.
Relevant ist die Änderung dennoch, weil alte Pauschalregeln, verwaltete robots.txt-Einträge und die neue Behandlung gemischter Crawler unbeabsichtigte Folgen haben können.
Für öffentlich auffindbare KMU-Websites lautet die praktikable Grundlinie: Such-Crawler zulassen, nutzergesteuerte Agenten nach Sicherheitsprüfung freigeben und Trainingszugriffe gezielt entscheiden. Vor einer pauschalen Trainingssperre sollte geprüft werden, ob Cloudflare dadurch Googlebot oder andere Such-Crawler mit mehreren Funktionen erfasst.
Wenn Sie nicht sicher sind, welche Infrastruktur vor Ihrer Website liegt oder welche Regel tatsächlich greift, kann ein technischer Marketing-Check die Crawler-Erreichbarkeit gemeinsam mit SEO, Seitenstruktur, Landingpages und Tracking prüfen.
Die entscheidende Frage lautet nicht „alle KI-Bots erlauben oder sperren?“, sondern: Welche automatisierten Zugriffe unterstützen Ihr Geschäftsmodell, und welche nicht?