# GPTBot und andere KI-Crawler

> KI-Crawler sind die Bots, die Unternehmen wie OpenAI, Anthropic, Perplexity und Google losschicken, um Webseiten zu lesen. Jedes Unternehmen betreibt mehrere, und jeder erledigt eine andere Aufgabe: Manche sammeln Trainingsdaten, manche bauen einen Suchindex auf, und manche öffnen Ihre Seite auf der Stelle, weil ein Nutzer eine Frage gestellt hat.

Quelle: https://citetune.com/de/glossar/ki-crawler

## Welcher Bot was tut

OpenAI: GPTBot sammelt Inhalte für das Modelltraining; OAI-SearchBot zeigt Websites in der ChatGPT-Suche an, und eine Website, die ihn blockiert, erscheint nicht in den Suchantworten von ChatGPT; ChatGPT-User ruft Seiten auf Anfrage eines Nutzers ab, und OpenAI weist darauf hin, dass robots.txt-Regeln für ihn möglicherweise nicht gelten.

Anthropic: ClaudeBot (Training), Claude-SearchBot (Suchindex) und Claude-User (vom Nutzer angeforderte Abrufe), die laut Anthropic alle die robots.txt beachten. Perplexity: PerplexityBot (Suchergebnisse, kein Modelltraining) und Perplexity-User (vom Nutzer ausgelöst, ignoriert die robots.txt in der Regel). Google-Extended ist ein robots.txt-Steuer-Token, kein eigener Bot; Google sagt, es wirke sich nicht auf die Aufnahme in die Suche aus.

## In der robots.txt erlaubt, am Server blockiert

Die robots.txt ist eine Erklärung; Ihr Server, Ihr CDN oder Ihre Firewall kann denselben Bot trotzdem abweisen. Cloudflare kündigte am 1. Juli 2025 an, KI-Crawler standardmäßig zu blockieren. Prüfen Sie sowohl, was die robots.txt sagt, als auch, was jeder Bot tatsächlich erhält, wenn er eine Seite unter seinem eigenen User-Agent anfordert. Unser kostenloser Scan tut beides und zeigt die Antwort im Wortlaut.

## KI-Crawler in einer Tabelle

Drei Anbieter, jeder mit mehreren Crawlern, nach ihrer eigenen Dokumentation:

| Anbieter | Such-Crawler | Trainings-Crawler | Vom Nutzer ausgelöster Crawler |
|---|---|---|---|
| OpenAI | OAI-SearchBot | GPTBot | ChatGPT-User (robots.txt gilt eventuell nicht) |
| Anthropic | Claude-SearchBot | ClaudeBot | Claude-User |
| Perplexity | PerplexityBot (nicht fürs Training) | keiner angegeben | Perplexity-User (ignoriert robots.txt in der Regel) |

## Firewall und Cloudflare

Die Sperre kommt oft vom Server, nicht von der robots.txt. Die Einstellung „AI bots blockieren“ von Cloudflare sperrt verifizierte Bots, die als Crawler für KI-Training eingestuft sind, und nicht verifizierte Bots mit ähnlichem Verhalten; Bots mit gemischtem Zweck sind standardmäßig ausgenommen. Laut Cloudflare-Dokumentation wird diese ältere Option am 15. September 2026 eingestellt: Crawler mit gemischtem Zweck werden dann in allen Konfigurationen zur Sperre des KI-Trainings blockiert.

## KI-Crawler und ein Shop im deutschsprachigen Raum

Erlauben Sie den Such-Crawler jedes Assistenten, in dem Sie sichtbar sein wollen, und entscheiden Sie getrennt über das Training. Testen Sie den tatsächlichen Statuscode, den jeder Crawler erhält, denn eine Firewall kann mit 403 antworten, obwohl Ihre robots.txt den Crawler zulässt. Die Einzelheiten, mit den Korrekturen für Shopify, Shopware, WooCommerce und JTL-Shop, stehen in [Ist Ihr Shop für KI-Crawler gesperrt?](/de/blog/shop-fuer-ki-crawler-gesperrt).

## Zum Mitnehmen

Das Training zu sperren heißt nicht, die Suche zu sperren. Prüfen Sie zwei Ebenen: die Datei robots.txt und die tatsächliche Antwort des Servers.

## Häufige Fragen

### Verschwinde ich aus ChatGPT, wenn ich GPTBot blockiere?

Nein – es sind verschiedene Bots. Laut OpenAI sammelt GPTBot Trainingsdaten; ob Sie in ChatGPT-Suchantworten erscheinen, hängt von OAI-SearchBot ab. GPTBot zu blockieren und OAI-SearchBot zu erlauben hält Sie aus dem Training heraus und in der Suche.

### Wie schreibe ich eine robots.txt, die KI-Such-Bots erlaubt?

Öffnen Sie pro Such-Bot eine Gruppe: „User-agent: OAI-SearchBot“, gefolgt von „Allow: /“, und dasselbe für Claude-SearchBot und PerplexityBot. Um Trainings-Bots fernzuhalten, ergänzen Sie „User-agent: GPTBot“ mit „Disallow: /“ und „User-agent: ClaudeBot“ mit „Disallow: /“. Testen Sie anschließend, wie Ihr Server auf Anfragen mit diesen User-Agents antwortet; ein Status 200 bei einem solchen Test beweist nicht den Zugang des echten Crawlers.

### Sollte ich Trainings-Crawler erlauben?

Das ist eine geschäftliche und rechtliche Entscheidung, die bei Ihnen liegt. Um in der Suche eines Assistenten zu erscheinen, zählt der Such-Crawler (OAI-SearchBot, Claude-SearchBot, PerplexityBot); GPTBot oder ClaudeBot abzulehnen verhindert laut ihren Anbietern nicht, in den Suchergebnissen gezeigt zu werden.

## Verwandte Begriffe

- [llms.txt-Datei](https://citetune.com/de/glossar/llms-txt)
- [Prerendering und SSR](https://citetune.com/de/glossar/prerendering-ssr)
- [Retrieval und Zitat](https://citetune.com/de/glossar/retrieval-und-zitat)
- [Übersicht mit KI](https://citetune.com/de/glossar/uebersicht-mit-ki)

## Artikel zu diesem Thema

- [Ist Ihr Shop für KI-Crawler gesperrt?](https://citetune.com/de/blog/shop-fuer-ki-crawler-gesperrt)
- [Shopify, Shopware, WooCommerce, JTL: lesbar für KI](https://citetune.com/de/blog/shopify-shopware-woocommerce-jtl-und-chatgpt)
- [Warum ChatGPT Ihren Shop nicht zitiert: 7 Ebenen](https://citetune.com/de/blog/warum-chatgpt-ihren-shop-nicht-zitiert)

## Quellen

- [developers.openai.com — Overview of OpenAI crawlers](https://developers.openai.com/api/docs/bots)
- [support.claude.com — Anthropic crawlers and robots.txt](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [docs.perplexity.ai — Perplexity crawlers](https://docs.perplexity.ai/guides/bots)
- [developers.google.com — Google common crawlers (Google-Extended)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers)
- [rfc-editor.org — RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309)
- [blog.cloudflare.com — AI crawlers blocked by default (01.07.2025)](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/)
- [developers.cloudflare.com — KI-Bots blockieren](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/)
- [docs.perplexity.ai — Die Crawler von Perplexity](https://docs.perplexity.ai/docs/resources/perplexity-crawlers)

Verfasst von: CiteTune-Team, FLAPP Bilişim A.Ş. · Zuletzt aktualisiert: 2026-09-30