# GPTBot et les autres robots d’exploration IA

> Les robots d’exploration IA sont les bots que des entreprises comme OpenAI, Anthropic, Perplexity et Google envoient lire des pages web. Chaque entreprise en exploite plusieurs, et chacun fait un travail différent : certains collectent des données d’entraînement, d’autres construisent un index de recherche, et d’autres ouvrent votre page sur le moment parce qu’un utilisateur a posé une question.

Source: https://citetune.com/fr/glossaire/robots-exploration-ia

## Quel bot fait quoi

OpenAI : GPTBot collecte du contenu pour l’entraînement des modèles ; OAI-SearchBot fait apparaître les sites dans la recherche de ChatGPT, et un site qui le bloque n’apparaît pas dans les réponses de recherche de ChatGPT ; ChatGPT-User récupère des pages à la demande d’un utilisateur, et OpenAI précise que les règles robots.txt peuvent ne pas s’y appliquer.

Anthropic : ClaudeBot (entraînement), Claude-SearchBot (index de recherche) et Claude-User (récupérations demandées par un utilisateur), qui respectent tous robots.txt selon Anthropic. Perplexity : PerplexityBot (résultats de recherche, pas l’entraînement de modèles) et Perplexity-User (à l’initiative de l’utilisateur, ignore généralement robots.txt). Google-Extended est un jeton de contrôle robots.txt, pas un bot distinct ; Google indique qu’il n’affecte pas l’inclusion dans la Recherche.

## Autorisé dans robots.txt, bloqué au niveau du serveur

robots.txt est une déclaration ; votre serveur, votre CDN ou votre pare-feu peut quand même refuser le même bot. Cloudflare a annoncé le 1er juillet 2025 qu’il passait au blocage par défaut des robots d’exploration IA. Vérifiez à la fois ce que dit robots.txt et ce que chaque bot reçoit réellement lorsqu’il demande une page sous son propre agent utilisateur. Notre scan gratuit fait les deux et affiche la réponse telle quelle.

## Les robots d’exploration IA en un tableau

Trois éditeurs, chacun avec plusieurs robots, d’après leur propre documentation :

| Éditeur | Robot de recherche | Robot d’entraînement | Robot déclenché par l’utilisateur |
|---|---|---|---|
| OpenAI | OAI-SearchBot | GPTBot | ChatGPT-User (robots.txt peut ne pas s’appliquer) |
| Anthropic | Claude-SearchBot | ClaudeBot | Claude-User |
| Perplexity | PerplexityBot (pas utilisé pour l’entraînement) | aucun indiqué | Perplexity-User (en général ignore robots.txt) |

## Le pare-feu et Cloudflare

Le blocage vient souvent du serveur, pas du robots.txt. Le réglage « Bloquer les robots d’IA » de Cloudflare bloque les robots vérifiés classés comme explorant pour l’entraînement, plus des robots non vérifiés qui se comportent de même ; les robots à usage mixte en sont exclus par défaut. Selon la documentation de Cloudflare, cette option historique est dépréciée au 15 septembre 2026 : les robots à usage mixte seront alors bloqués dans toutes les configurations de blocage de l’entraînement.

## Les robots d’exploration IA et une boutique française

Autorisez le robot d’exploration de recherche de chaque assistant dans lequel vous voulez apparaître, et décidez séparément de l’entraînement. Testez le code de statut réel renvoyé à chaque robot d’exploration, car un pare-feu peut répondre 403 à un robot d’exploration que votre robots.txt autorise. Le détail, avec les correctifs pour Shopify, PrestaShop et WooCommerce, se trouve dans l’article « [Votre site est-il bloqué pour les robots d’exploration IA ?](/fr/blog/site-bloque-pour-les-robots-ia) ».

## À retenir

Bloquer l’entraînement n’est pas bloquer la recherche. Vérifiez deux couches : le fichier robots.txt et la réponse réelle du serveur.

## FAQ

### Si je bloque GPTBot, disparais-je de ChatGPT ?

Non, ce sont des bots différents. Selon OpenAI, GPTBot collecte des données d’entraînement ; l’apparition dans les réponses de recherche de ChatGPT dépend d’OAI-SearchBot. Bloquer GPTBot tout en autorisant OAI-SearchBot vous garde hors de l’entraînement et dans la recherche.

### Comment écrire un robots.txt qui autorise les bots de recherche IA ?

Ouvrez un groupe par bot : la ligne « User-agent » nommant OAI-SearchBot, suivie d’une ligne « Allow » sur « / », et de même pour Claude-SearchBot et PerplexityBot. Pour bloquer le bot d’entraînement GPTBot, ajoutez la ligne « User-agent » nommant GPTBot avec une ligne « Disallow » sur « / ». Ensuite, testez la réponse du serveur à des requêtes portant ces noms de bots de recherche. Un code 200 confirme la réussite de la requête testée, sans prouver à lui seul que les véritables bots ont accès au site.

### Faut-il autoriser les robots d’entraînement ?

C’est un choix commercial et juridique qui vous appartient. Pour apparaître dans la recherche d’un assistant, c’est le robot de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot) qui compte ; refuser GPTBot ou ClaudeBot n’empêche pas, selon leurs éditeurs, d’être montré dans les résultats de recherche.

## Termes associés

- [fichier llms.txt](https://citetune.com/fr/glossaire/llms-txt)
- [Pré-rendu et rendu côté serveur](https://citetune.com/fr/glossaire/pre-rendu-ssr)
- [Récupération vs citation](https://citetune.com/fr/glossaire/recuperation-et-citation)
- [Aperçus IA](https://citetune.com/fr/glossaire/apercus-ia)

## Articles sur ce sujet

- [Votre site est-il bloqué pour les robots IA ?](https://citetune.com/fr/blog/site-bloque-pour-les-robots-ia)
- [Shopify, PrestaShop, WooCommerce : être lisible par l’IA](https://citetune.com/fr/blog/shopify-prestashop-woocommerce-chatgpt)
- [Pourquoi ChatGPT ne cite pas votre boutique : 7 couches](https://citetune.com/fr/blog/pourquoi-chatgpt-ne-cite-pas-boutique)

## Sources

- [developers.openai.com — Overview of OpenAI crawlers](https://developers.openai.com/api/docs/bots)
- [support.claude.com — Anthropic crawlers and robots.txt](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [docs.perplexity.ai — Perplexity crawlers](https://docs.perplexity.ai/guides/bots)
- [developers.google.com — Google common crawlers (Google-Extended)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers)
- [rfc-editor.org — RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309)
- [blog.cloudflare.com — AI crawlers blocked by default (01.07.2025)](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/)
- [developers.cloudflare.com — Bloquer les robots d’IA](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/)
- [docs.perplexity.ai — Les robots d’exploration de Perplexity](https://docs.perplexity.ai/docs/resources/perplexity-crawlers)

Rédigé par: L’équipe CiteTune, FLAPP Bilişim A.Ş. · Dernière mise à jour: 2026-09-30