# Sind KI-Agenten auf Ihrer Website blockiert?

> Geben Sie Ihre Domain ein: Die kostenlose Prüfung liest die robots.txt für 14 KI- und Such-Bot-Kennungen, darunter ChatGPT, Claude, Perplexity, Google und Bing. Für Bots mit einem HTTP-User-Agent ruft sie Ihre Startseite zusätzlich mit dieser Kennung ab. Sie erkennt bei diesen Testanfragen Cloudflare-Prüfungen, Firewall-Antworten mit 403 und noindex-Tags. Sie sehen das Ergebnis – Offen, Teilweise blockiert oder Blockiert – und konkrete Schritte zur Behebung. Die Prüfung hat ein Zeitlimit von 30 Sekunden und benötigt kein Konto.

Quelle: https://citetune.com/de/tools/ki-bot-zugriff-pruefen

## So lesen Sie ein Ergebnis

Das Ergebnis oben berücksichtigt nur Such-Bots: Such-Crawler wie Googlebot, Bingbot und OAI-SearchBot sowie KI-Agenten wie ChatGPT-User, die eine Seite abrufen, wenn jemand einen Assistenten danach fragt. Erreichen alle Ihre Startseite, gilt die Website als Offen. Werden einige abgewiesen, gilt sie als Teilweise blockiert; kommt keiner durch, als Blockiert.

Jede Zeile hat zwei Antworten. Die Spalte robots.txt sagt, ob die Datei das Token des Bots für Ihre Startseite erlaubt und welche Regel zutraf. Die Spalte Live sagt, was unsere Server mit dem veröffentlichten User-Agent dieses Bots erhalten haben: Ein 200 heißt, die Seite wurde ausgeliefert, während ein 403, ein 429 oder eine Prüfseite bedeutet, dass etwas zwischen dem Bot und Ihren Seiten ihn abweist. Eine ausgelieferte Seite, die noindex sagt, zählt für die Suche als blockiert.

## Trainings-Crawler sind Ihre Entscheidung

GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot und Meta-ExternalAgent sammeln Inhalte für das Modelltraining. Sie stehen in einer eigenen Tabelle und senken das Urteil nie: Sie zu blockieren ist eine legitime Entscheidung, und OpenAI, Anthropic, Google und Apple dokumentieren jeweils getrennte Bots für die Suche. Die Prüfung zeigt, was blockiert ist, und überlässt die Entscheidung Ihnen.

## Die Cloudflare-Voreinstellung, die KI-Agenten blockiert

Seit dem 15. September 2026 blockieren die Voreinstellungen von Cloudflare für neue Domains Training- und Agent-Bots auf Seiten mit Werbung, während Search-Crawler erlaubt bleiben. Ein Shop bei Cloudflare kann ChatGPT-User oder Perplexity-User abweisen, ohne dass jemand es gewählt hat. Werden bei einer Cloudflare-Website nur Agent- und Trainings-Bots abgewiesen, benennt die Prüfung dieses Muster und listet die Schritte im Dashboard auf, um es zu ändern, unter Security, Settings, Configure AI bot policies.

Sie erkennt außerdem den von Cloudflare verwalteten robots.txt-Block, der nur Trainings-Crawler sperrt, und unterscheidet ihn von einer Sperre, die auch Such-Crawler trifft, etwa durch Bot Fight Mode oder eine eigene Firewall-Regel.

## Was die Prüfung Ihnen nicht sagen kann

Die Anfragen kommen von unseren Servern, nicht aus den echten IP-Bereichen der Bots. Eine Firewall, die Bots anhand der IP-Adresse oder per Reverse-DNS verifiziert, behandelt unsere Anfrage möglicherweise als Nachahmer; eine Sperre hier zeigt also eine Regel, die auf den User-Agent passt, keinen Beweis dafür, dass der echte Crawler blockiert ist. OpenAI, Anthropic und Perplexity veröffentlichen ihre IP-Bereiche; prüfen Sie Ihre Firewall-Protokolle auf Anfragen aus diesen Bereichen, um sicherzugehen.

Der Test ruft nur Ihre Startseite ab, einmal pro Bot, zwei gleichzeitig, von einem Ort und zu einem Zeitpunkt. Er liest Ihre Protokolle nicht und sagt nicht, ob ein Bot je zu Besuch war.

## Welche Bots getestet werden

Vierzehn Token: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Perplexity-User, Google-Extended, Googlebot, Bingbot, CCBot, Applebot-Extended und Meta-ExternalAgent. Google-Extended und Applebot-Extended sind reine robots.txt-Steuer-Token ohne eigenen Crawler, daher gilt für diese beiden nur die robots.txt-Prüfung.

## Häufige Fragen

### Hat Cloudflare auf meiner Website angefangen, KI-Bots zu blockieren?

Möglicherweise. Seit dem 15. September 2026 blockieren die Voreinstellungen von Cloudflare für neue Domains Training- und Agent-Bots auf Seiten mit Werbung, während Search-Crawler erlaubt bleiben. Agent-Bots wie ChatGPT-User rufen eine Seite ab, wenn jemand einen KI-Assistenten danach fragt. Die Prüfung markiert dieses Muster und listet die Lösung auf: im Dashboard unter Security, Settings, Configure AI bot policies Agent auf „Allow“ stellen.

### Ist GPTBot der Bot, der entscheidet, ob ChatGPT meine Website zeigt?

Nein. OpenAI dokumentiert GPTBot als den Crawler für Inhalte, die seine Modelle trainieren dürfen, und OAI-SearchBot als den, der Websites in den Suchfunktionen von ChatGPT anzeigt. Websites, die OAI-SearchBot ausgeschlossen haben, werden in den Suchantworten von ChatGPT nicht angezeigt. Beide werden in der robots.txt getrennt gesteuert, prüfen Sie also beide.

### Sollte ich GPTBot und ClaudeBot blockieren?

Das ist eine unternehmerische Entscheidung. Beide sind als Trainings-Crawler dokumentiert; sie zu blockieren schließt Ihre Inhalte vom Modelltraining aus. Keiner der Anbieter verknüpft sie mit seinen Suchergebnissen, die OAI-SearchBot und Claude-SearchBot nutzen. Deshalb rechnet die Prüfung eine Trainings-Sperre nie gegen Ihr Urteil. Wenn Sie in KI-Suchantworten erscheinen möchten, lassen Sie die Such- und Agent-Bots erlaubt.

### Warum sagt die Prüfung, ein Bot sei in der robots.txt erlaubt, aber blockiert?

Die robots.txt ist eine Bitte an Crawler, kein Tor. Ihr CDN, Ihre Web Application Firewall oder Ihr Hoster kann dem User-Agent eines Bots trotzdem ein 403, ein 429 oder eine Prüfseite zurückgeben. Dann ist das Urteil eine Firewall-Sperre, keine robots.txt-Sperre, und die Lösung liegt in den Einstellungen von CDN oder Firewall.

### Entfernt das Blockieren von Google-Extended mich aus der Übersicht mit KI von Google?

Google sagt, Google-Extended wirke sich nicht auf die Aufnahme in die Google Suche aus und sei kein Ranking-Signal. Der Leitfaden zu den KI-Funktionen sagt, eine Seite könne als unterstützender Link in der Übersicht mit KI und im KI-Modus erscheinen, wenn sie indexiert und für die Anzeige mit einem Snippet berechtigt ist, ohne zusätzliche technische Anforderungen.