# Ist Ihr Shop für KI-Crawler gesperrt?

Quelle: https://citetune.com/de/blog/shop-fuer-ki-crawler-gesperrt

Verfasst von: Das CiteTune-Team · Veröffentlicht am: 2026-10-08 · Aktualisiert am: 2026-10-08 · 7 Min. Lesezeit

## Kurze Antwort

Ein Shop kann an zwei Stellen für KI-Crawler gesperrt sein: in der robots.txt, die eine Regel ausdrückt, und im Server oder in der Firewall, die unabhängig davon mit 403 antworten können. Für die Suche von ChatGPT muss OAI-SearchBot erlaubt sein; GPTBot betrifft nur das Training. Prüfen Sie beide Ebenen.

## Zwei Ebenen, zwei mögliche Ursachen

Taucht ein Shop in keiner KI-Antwort auf, ist die erste Prüfung die einfachste: Können die Crawler Ihre Seiten überhaupt lesen? Zwei getrennte Mechanismen beantworten diese Frage, und man verwechselt sie oft.

Der erste ist die Datei robots.txt. Sie ist in RFC 9309 standardisiert und sagt Crawlern, welche Pfade sie abrufen dürfen. Dieselbe RFC hält fest, dass diese Regeln keine Form der Zugriffskontrolle sind: Ein ehrlicher Crawler hält sich daran, technisch erzwungen wird es nicht. Der zweite Mechanismus ist der Server selbst oder alles, was vor ihm sitzt: Content-Delivery-Netzwerk, Web Application Firewall, Sicherheits-Plugin. Er entscheidet, was tatsächlich zurückkommt, und kann einem Crawler mit 403 antworten, den Ihre robots.txt zulässt.

Ein Shop kann also in der robots.txt „ja“ sagen und in der Antwort „nein“. Umgekehrt genügt eine Disallow-Regel in der robots.txt, um einen Crawler fernzuhalten, der sie beachtet, auch wenn der Server ihn gern bedienen würde. Sie müssen beides prüfen.

## Welche Crawler, wofür?

Jeder Anbieter unterscheidet mehrere Crawler mit verschiedenen Aufgaben. Merken Sie sich: Den Trainings-Crawler zu sperren heißt nicht, die Suche zu sperren.

| Crawler | Anbieter | Aufgabe laut Anbieter | Steuerung per robots.txt |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Lässt Websites in den Suchfunktionen von ChatGPT erscheinen | Ja. Wer ihn ablehnt, wird in den Suchantworten von ChatGPT nicht gezeigt (als Navigationslink kann er trotzdem auftauchen) |
| GPTBot | OpenAI | Ruft Inhalte ab, die zum Training der Modelle dienen können | Ja. Ihn abzulehnen bedeutet, dass der Inhalt nicht fürs Training genutzt werden soll |
| ChatGPT-User | OpenAI | Ruft eine Seite ab, wenn ein Nutzer fragt oder einen GPT verwendet | Nicht verlässlich: Da der Nutzer die Aktion auslöst, gelten robots.txt-Regeln eventuell nicht |
| ClaudeBot | Anthropic | Sammelt Inhalte, die zum Training beitragen können | Ja |
| Claude-SearchBot | Anthropic | Durchsucht das Web, um Suchergebnisse relevanter zu machen | Ja. Wird er gesperrt, wird Ihr Inhalt nicht für die Suche indexiert |
| Claude-User | Anthropic | Ruft eine Seite ab, wenn eine Frage in Claude es erfordert | Ja. Eine Sperre kann die Sichtbarkeit in nutzergesteuerten Suchen mindern |
| PerplexityBot | Perplexity | Lässt Websites in den Ergebnissen von Perplexity erscheinen und verlinkt sie; nicht fürs Modelltraining | Ja. Perplexity empfiehlt, ihn zu erlauben, um zu erscheinen |
| Perplexity-User | Perplexity | Ruft eine Seite ab, wenn die Frage eines Nutzers es erfordert | In der Regel nein: Der Abruf wird vom Nutzer ausgelöst, nicht von Ihrer robots.txt gesteuert |

> Bei Google stützen sich die Übersicht mit KI und der KI-Modus auf Googlebot: Die Crawl-Steuerung ist also die robots.txt für Googlebot, die Anzeigegrenzen setzen Sie mit nosnippet, data-nosnippet, max-snippet oder noindex. Google-Extended betrifft Training und Grounding in einigen anderen Google-Systemen.

Nach Angaben von OpenAI und Perplexity kann es bis zu etwa 24 Stunden dauern, bis eine Änderung der robots.txt wirkt. Schließen Sie also nicht eine Stunde nach einer Änderung auf einen Fehlschlag.

## Der Fall Firewall und Cloudflare

Viele Shops setzen Cloudflare vor ihre Website oder nutzen ein Sicherheits-Plugin, das Bots filtert. Die Einstellung „AI bots blockieren“ von Cloudflare sperrt verifizierte Bots, die als Crawler für KI-Training eingestuft sind, sowie nicht verifizierte Bots mit ähnlichem Verhalten. Bots mit gemischtem Zweck, also Training und Suche, sind standardmäßig davon ausgenommen.

Zwei Punkte verdienen Aufmerksamkeit. Am 1. Juli 2025 kündigte Cloudflare an, dass das Blockieren von KI-Crawlern zur Standardeinstellung wird, außer wenn sie Urheber vergüten: Lesen Sie die Einstellung Ihrer Zone nach, statt anzunehmen, sie sei neutral geblieben. Und laut Cloudflares Dokumentation wird die ältere Option „AI bots blockieren“ am 15. September 2026 eingestellt: Ab diesem Datum werden Crawler mit gemischtem Zweck in allen Konfigurationen zur Sperre des KI-Trainings blockiert, auch in dieser Option. Ein Crawler, der Training und Suche bedient, kann also gesperrt sein, ohne dass Sie etwas geändert haben.

- In Cloudflare: Öffnen Sie die Konfiguration der KI-Crawler-Richtlinien und notieren Sie Crawler für Crawler, was blockiert oder erlaubt ist.
- In einem Sicherheits-Plugin (WordPress, Shopware, JTL-Shop): Suchen Sie Optionen wie „Bots blockieren“, „Under-Attack-Modus“ oder „JavaScript-Challenge“, die für alle Besucher ohne Cookie gelten.
- Bei Ihrem Hoster: Fragen Sie, ob eine Web Application Firewall unbekannte User-Agents filtert. Viele WAFs antworten jedem Client, der kein Browser ist, mit 403.

## Testen in fünf Minuten

1. Öffnen Sie https://ihr-shop.de/robots.txt im Browser und lesen Sie die Datei ganz: Achten Sie auf User-agent-Blöcke, die einen KI-Crawler nennen, und auf den Block User-agent: * mit seinen Disallow-Zeilen.
2. Prüfen Sie, dass die Datei mit 200 antwortet, als reiner Text, und von der richtigen Domain kommt (mit oder ohne www und auf jeder Shop-Subdomain).
3. Rufen Sie eine Produktseite mit dem Namen eines Crawlers als User-Agent ab und sehen Sie sich den Statuscode an.

```bash
# Statuscode einer Produktseite, bei einer Testanfrage mit dem OAI-SearchBot-User-Agent (von Ihrem Rechner)
curl -s -o /dev/null -w "%{http_code}\n" -A "OAI-SearchBot" https://ihr-shop.de/produkte/beispiel

# Derselbe Test mit einem Browser-User-Agent zum Vergleich
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0" https://ihr-shop.de/produkte/beispiel
```

Liefert der erste Test 403 und der zweite 200, behandelt Ihre Firewall Crawler anders als Browser. Beachten Sie: Dieser Test ändert nur den User-Agent. Eine Firewall, die zusätzlich die IP-Adresse der Crawler prüft, kann echten Crawlern anders antworten als Ihrem Rechner. Perplexity veröffentlicht die IP-Bereiche seiner beiden Crawler, die sich in einer Firewall freigeben lassen. Unser [Prüfer für den Zugriff von KI-Crawlern](https://citetune.com/de/tools/ki-bot-zugriff-pruefen) erledigt das für Sie: Er liest die robots.txt, ruft Ihre Website wie jeder Crawler ab und zeigt, was Ihr Server zurückgibt.

## Korrigieren, Plattform für Plattform

Das ist die minimale Freigabe, mit der Ihr Shop für die Suche von ChatGPT, Claude und Perplexity infrage kommt, ohne das Training zu erlauben:

```text
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /
```

Diese Entscheidung liegt bei Ihnen: Das Training zu erlauben oder abzulehnen ist eine geschäftliche und rechtliche, keine technische Entscheidung. Wichtig ist nur, kein pauschales Disallow zu schreiben, das ungewollt auch die Such-Crawler aussperrt.

- **Shopify:** Die robots.txt wird von der Plattform erzeugt. Zum Ändern legen Sie im Ordner Templates des Themes eine Vorlage robots.txt.liquid an, die die erzeugte Datei ersetzt. Shopify empfiehlt, die Liquid-Objekte statt reinen Texts zu verwenden und die Ausgabe vor dem Veröffentlichen mit Ihrer aktuellen Datei zu vergleichen.
- **Shopware:** Bis Version 6.7.0 legen Sie die robots.txt von Hand als Textdatei im Verzeichnis public an; laut Shopware wird sie nicht automatisch erzeugt. Seit 6.7.1.0 gibt es ein Formular unter Einstellungen, Grundinformationen, und Shopware erzeugt eine robots.txt, die auf die Sitemaps verweist. Prüfen Sie nach einem Update, was unter /robots.txt ausgeliefert wird.
- **WooCommerce (WordPress):** Ohne physische Datei erzeugt WordPress eine Standard-robots.txt, die sich über den Filter robots_txt ändern lässt. Eine physische robots.txt im Hauptverzeichnis ersetzt sie. Seit WordPress 5.3 fügt die Option „Suchmaschinen davon abhalten, diese Website zu indexieren“ kein Disallow: / mehr in diese Datei ein, sondern arbeitet mit einem robots-Meta-Tag.
- **JTL-Shop:** Laut JTL-Anleitung liegt die robots.txt im Wurzelverzeichnis des Shops. Eine Einstellung dafür im Admin-Bereich haben wir in der JTL-Dokumentation nicht gefunden; rechnen Sie deshalb damit, dass die Datei per FTP oder von Ihrem JTL-Partner angepasst wird.

## Wann Sperren eine vernünftige Entscheidung ist

Sperren ist kein Fehler an sich. Ein Verlag, der seine Inhalte vermarktet, oder ein Shop, der nicht möchte, dass seine Beschreibungen ein Modell trainieren, kann GPTBot und ClaudeBot berechtigt ablehnen. Der Fehler ist, unwissentlich zu sperren oder die Suche zu sperren, weil man das Training sperren will.

Ist der Zugriff korrigiert, ist der nächste Schritt zu prüfen, ob der Text Ihrer Seiten im HTML steht, das der Crawler erhält ([JavaScript-Shops und KI-Crawler](https://citetune.com/de/blog/javascript-shops-und-ki-crawler)), und dann zu verstehen, warum eine Marke ohne Link genannt wird ([erwähnt, aber nicht zitiert](https://citetune.com/de/blog/marke-erwaehnt-aber-nicht-zitiert)). Eine vollständige Diagnose in sieben Ebenen finden Sie in [warum ChatGPT Ihren Shop nicht zitiert](https://citetune.com/de/blog/warum-chatgpt-ihren-shop-nicht-zitiert).

## Häufige Fragen

### Muss ich GPTBot erlauben, um in ChatGPT zu erscheinen?

Nicht für die Suche. OpenAI dokumentiert OAI-SearchBot als den Crawler, der Websites in den Suchfunktionen von ChatGPT erscheinen lässt, und GPTBot als den, der Inhalte abruft, die fürs Training dienen können. GPTBot abzulehnen verhindert also nicht, in Suchantworten gezeigt zu werden, solange OAI-SearchBot erlaubt ist.

### Meine robots.txt erlaubt alles, warum kommen die Crawler trotzdem nicht durch?

Weil die Sperre vom Server und nicht von der Datei kommen kann. Eine Firewall, ein Sicherheits-Plugin oder eine Einstellung im Content-Delivery-Netzwerk kann Agenten, die keine Browser sind, mit 403 antworten. Testen Sie den Statuscode, der jedem Crawler geliefert wird, nicht nur den Inhalt der robots.txt.

### Wie lange dauert es, bis meine Korrektur wirkt?

OpenAI und Perplexity geben an, dass eine Änderung der robots.txt etwa 24 Stunden brauchen kann, bis ihre Systeme sie berücksichtigen. Warten Sie diese Zeit ab, bevor Sie erneut testen, und prüfen Sie dann den Statuscode noch einmal.

### Schützt die robots.txt meine Seiten vor dem Abruf?

Nein: RFC 9309 hält fest, dass diese Regeln keine Form der Zugriffskontrolle sind. Sie leiten Crawler, die sie beachten. Um den Zugriff wirklich zu beschränken, brauchen Sie eine Authentifizierung oder eine Regel auf dem Server.

## Quellen

- [OpenAI: Übersicht über die Crawler von OpenAI](https://developers.openai.com/api/docs/bots) (abgerufen am: 2026-10-08)
- [Anthropic: Crawling des Webs und Sperren des Crawlers (Claude-Hilfe)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) (abgerufen am: 2026-10-08)
- [Perplexity: Die Crawler von Perplexity](https://docs.perplexity.ai/docs/resources/perplexity-crawlers) (abgerufen am: 2026-10-08)
- [Google Search Central: KI-Funktionen und Ihre Website](https://developers.google.com/search/docs/appearance/ai-features?hl=de) (abgerufen am: 2026-10-08)
- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309) (abgerufen am: 2026-10-08)
- [Cloudflare: KI-Bots blockieren](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) (abgerufen am: 2026-10-08)
- [Cloudflare: Content Independence Day (1. Juli 2025)](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/) (abgerufen am: 2026-10-08)
- [Shopify.dev: Die robots.txt anpassen](https://shopify.dev/docs/storefronts/themes/seo/robots-txt) (abgerufen am: 2026-10-08)
- [Shopware-Dokumentation: Eine robots.txt erstellen](https://docs.shopware.com/en/shopware-6-en/tutorials-and-faq/creation-of-robots-txt) (abgerufen am: 2026-10-08)
- [Shopware: Eine robots.txt für Shopware (Hacktoberfest-Ergebnis, ab 6.7.1.0)](https://www.shopware.com/en/news/hacktoberfest-2024-outcome-a-robots-txt-for-shopware/) (abgerufen am: 2026-10-08)
- [WordPress Developer Resources: do_robots()](https://developer.wordpress.org/reference/functions/do_robots/) (abgerufen am: 2026-10-08)
- [JTL-Guide: FAQ zu JTL-Shop (Ort der robots.txt)](https://guide.jtl-software.com/jtl-shop/systemverwaltung/faq-zu-jtl-shop/) (abgerufen am: 2026-10-08)

## Verwandte Seiten

- [KI-Crawler](https://citetune.com/de/glossar/ki-crawler)
- [Warum ChatGPT Ihren Shop nicht zitiert: 7 Ebenen](https://citetune.com/de/blog/warum-chatgpt-ihren-shop-nicht-zitiert)
- [JavaScript-Shops: was KI-Crawler nicht sehen](https://citetune.com/de/blog/javascript-shops-und-ki-crawler)
- [Shopify, Shopware, WooCommerce, JTL: lesbar für KI](https://citetune.com/de/blog/shopify-shopware-woocommerce-jtl-und-chatgpt)
- [Sind KI-Agenten blockiert?](https://citetune.com/de/tools/ki-bot-zugriff-pruefen)
- [Kostenloser Scan](https://citetune.com/de/kostenloser-scan)