# Votre site est-il bloqué pour les robots IA ?

Source: https://citetune.com/fr/blog/site-bloque-pour-les-robots-ia

Rédigé par: L’équipe CiteTune · Publié le: 2026-10-08 · Mis à jour le: 2026-10-08 · 8 min de lecture

## Réponse courte

Un site peut être fermé aux robots d’exploration IA à deux endroits : le fichier robots.txt, qui exprime une règle, et le serveur ou le pare-feu, qui peut répondre 403 quoi que dise ce fichier. Pour apparaître dans la recherche de ChatGPT, autorisez OAI-SearchBot ; GPTBot ne concerne que l’entraînement. Testez les deux couches.

## Deux couches, deux causes possibles

Quand une boutique n’apparaît dans aucune réponse d’IA, la première vérification est la plus simple : les robots peuvent-ils lire vos pages ? Deux mécanismes distincts répondent à cette question, et on les confond souvent.

Le premier est le fichier robots.txt. Normalisé par la RFC 9309, il indique aux robots quels chemins ils peuvent récupérer. Cette même RFC précise que ces règles ne sont pas une forme d’autorisation d’accès : un robot honnête les respecte, rien ne l’y oblige techniquement. Le second est le serveur lui-même, ou ce qui se trouve devant lui : réseau de diffusion, pare-feu applicatif, extension de sécurité. Il décide de ce qu’il renvoie réellement, et il peut répondre 403 à un robot que votre robots.txt autorise.

Un site peut donc dire « oui » dans son robots.txt et « non » dans sa réponse. Dans l’autre sens, une règle Disallow dans le robots.txt suffit à écarter un robot qui la respecte, même si le serveur lui répondrait volontiers. Il faut vérifier les deux.

## Quels robots, pour quoi faire ?

Chaque éditeur distingue plusieurs robots, qui n’ont pas le même rôle. Le point à retenir : bloquer le robot d’entraînement n’est pas bloquer la recherche.

| Robot | Éditeur | Rôle selon l’éditeur | Contrôle par robots.txt |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Fait apparaître les sites dans les fonctions de recherche de ChatGPT | Oui. Un site qui l’a refusé n’est pas montré dans les réponses de recherche de ChatGPT (il peut rester en lien de navigation) |
| GPTBot | OpenAI | Explore des contenus pouvant servir à l’entraînement des modèles | Oui. Le refuser signifie que le contenu ne doit pas servir à l’entraînement |
| ChatGPT-User | OpenAI | Visite une page quand un utilisateur pose une question ou utilise un GPT | Pas forcément : l’action étant lancée par l’utilisateur, les règles robots.txt peuvent ne pas s’appliquer |
| ClaudeBot | Anthropic | Collecte du contenu pouvant contribuer à l’entraînement | Oui |
| Claude-SearchBot | Anthropic | Explore le web pour améliorer la pertinence des résultats de recherche | Oui. Le désactiver empêche l’indexation de votre contenu pour la recherche |
| Claude-User | Anthropic | Accède à un site quand un utilisateur de Claude pose une question qui l’exige | Oui. Le désactiver peut réduire votre visibilité dans les recherches dirigées par l’utilisateur |
| PerplexityBot | Perplexity | Fait apparaître et lie les sites dans les résultats de Perplexity ; pas utilisé pour entraîner des modèles | Oui. Perplexity recommande de l’autoriser pour apparaître |
| Perplexity-User | Perplexity | Récupère une page quand la question d’un utilisateur l’exige | En général non : l’accès est piloté par Perplexity, pas par votre robots.txt |

> Chez Google, les Aperçus IA et le Mode IA s’appuient sur Googlebot : le contrôle d’exploration est donc le robots.txt pour Googlebot, et les limites d’affichage passent par nosnippet, data-nosnippet, max-snippet ou noindex. Google-Extended, lui, limite l’entraînement et l’ancrage dans certains autres systèmes Google.

Les éditeurs indiquent qu’un changement de robots.txt peut mettre jusqu’à environ 24 heures à être pris en compte (OpenAI et Perplexity le disent explicitement). Inutile donc de conclure à l’échec une heure après une modification.

## Le cas du pare-feu et de Cloudflare

Beaucoup de boutiques françaises placent Cloudflare devant leur site, ou utilisent un module de sécurité qui filtre les robots. Le réglage « Bloquer les robots d’IA » de Cloudflare (dans Sécurité, puis Paramètres de sécurité) bloque les robots vérifiés classés comme explorant pour l’entraînement, ainsi que des robots non vérifiés qui se comportent de la même façon. Les robots à usage mixte, à la fois entraînement et recherche, sont exclus par défaut de ce blocage.

Deux points demandent de l’attention. Le 1er juillet 2025, Cloudflare a annoncé que son réglage par défaut devenait le blocage des robots d’exploration IA, sauf lorsqu’ils rémunèrent les créateurs de contenu : relisez le réglage de votre zone au lieu de supposer qu’il est resté neutre. Et selon la documentation de Cloudflare, l’option historique « Bloquer les robots d’IA » est dépréciée au 15 septembre 2026 : à partir de cette date, les robots à usage mixte seront bloqués dans toutes les configurations de blocage de l’entraînement, y compris cette option. Un robot qui sert à la fois l’entraînement et la recherche peut donc se retrouver bloqué sans que vous ayez rien changé.

- Dans Cloudflare : ouvrez la configuration des politiques de robots d’IA et notez, robot par robot, ce qui est bloqué ou autorisé.
- Dans un module de sécurité (WordPress, PrestaShop) : cherchez les options « bloquer les robots », « mode sous attaque » ou « défi JavaScript » qui s’appliquent à tous les visiteurs sans cookie.
- Chez votre hébergeur : demandez si un pare-feu applicatif filtre les agents utilisateurs non reconnus. Beaucoup de WAF répondent 403 à tout client qui n’est pas un navigateur.

## Comment tester, en cinq minutes

1. Ouvrez https://votre-domaine.fr/robots.txt dans un navigateur et lisez-le en entier : repérez les blocs User-agent qui nomment un robot d’exploration IA, et le bloc User-agent : * avec ses lignes Disallow.
2. Vérifiez que le fichier répond bien en 200, en texte brut, et qu’il est servi par le bon domaine (avec ou sans www, et sur chaque sous-domaine de boutique).
3. Interrogez une page produit avec le nom d’un robot comme agent utilisateur et regardez le code de statut.

```bash
# Code de statut d'une fiche produit vue par OAI-SearchBot (test sur l'agent utilisateur seulement)
curl -s -o /dev/null -w "%{http_code}\n" -A "OAI-SearchBot" https://votre-domaine.fr/produits/exemple

# Le même test avec un agent de navigateur, pour comparer
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0" https://votre-domaine.fr/produits/exemple
```

Si le premier test renvoie 403 et le second 200, votre pare-feu traite les robots d’exploration autrement que les navigateurs. Attention : ce test ne change que l’agent utilisateur. Un pare-feu qui vérifie aussi l’adresse IP des robots d’exploration peut répondre autrement aux vrais robots d’exploration qu’à votre ordinateur. Perplexity publie les plages d’adresses de ses deux robots d’exploration, que l’on peut autoriser dans un pare-feu. Notre [vérificateur d’accès des robots d’exploration IA](https://citetune.com/fr/outils/verificateur-acces-robots-ia) fait ce travail pour vous : il lit le robots.txt, interroge votre site comme chaque robot et affiche ce que votre serveur renvoie.

## Corriger, plateforme par plateforme

Voici l’autorisation minimale qui rend votre site éligible à la recherche de ChatGPT, de Claude et de Perplexity, sans autoriser l’entraînement :

```text
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /
```

Ce choix est le vôtre : autoriser ou refuser l’entraînement est une décision commerciale et juridique, pas technique. Le point important est de ne pas écrire un Disallow général qui bloque aussi les robots de recherche sans que vous l’ayez voulu.

- **Shopify :** le fichier robots.txt est généré par la plateforme et « fonctionne pour la plupart des boutiques ». Pour le modifier, ajoutez un modèle robots.txt.liquid dans le dossier Templates du thème, qui remplace le fichier généré. Shopify recommande d’utiliser ses objets Liquid plutôt que du texte brut et de comparer le rendu avec votre fichier actuel avant de publier.
- **PrestaShop :** le bouton « Générer le fichier robots.txt » du back-office remplace le fichier existant par un nouveau. Si vous voulez ajouter vos propres règles, faites-le après la génération, sinon elles seront écrasées au prochain clic.
- **WooCommerce (WordPress) :** sans fichier physique, WordPress produit un robots.txt par défaut, que l’on peut modifier avec le filtre robots_txt. Un fichier robots.txt physique à la racine le remplace. Depuis WordPress 5.3, l’option « décourager les moteurs de recherche » n’ajoute plus de Disallow : / dans ce fichier : elle passe par une balise meta robots.

## Quand bloquer est un choix raisonnable

Bloquer n’est pas une erreur en soi. Un éditeur qui monétise son contenu, ou une boutique qui ne veut pas voir ses descriptions servir à entraîner un modèle, peut légitimement refuser GPTBot et ClaudeBot. L’erreur est de bloquer sans le savoir, ou de bloquer la recherche en croyant bloquer l’entraînement.

Une fois l’accès corrigé, l’étape suivante est de s’assurer que le texte de vos pages existe bien dans le HTML que le robot reçoit ([les sites JavaScript et les robots IA](https://citetune.com/fr/blog/sites-javascript-robots-ia)), puis de comprendre pourquoi une marque est nommée sans lien ([mentionnée sans citation](https://citetune.com/fr/blog/marque-mentionnee-sans-citation)). Pour un diagnostic complet en sept couches, lisez [pourquoi ChatGPT ne cite pas votre boutique](https://citetune.com/fr/blog/pourquoi-chatgpt-ne-cite-pas-boutique).

## Questions fréquentes

### Dois-je autoriser GPTBot pour apparaître dans ChatGPT ?

Pas pour la recherche. OpenAI documente OAI-SearchBot comme le robot qui fait apparaître les sites dans les fonctions de recherche de ChatGPT, et GPTBot comme celui qui explore des contenus pouvant servir à l’entraînement. Refuser GPTBot n’empêche donc pas d’être montré dans les réponses de recherche, tant qu’OAI-SearchBot est autorisé.

### Mon robots.txt autorise tout, pourquoi les robots ne passent-ils pas ?

Parce que le blocage peut venir du serveur et non du fichier. Un pare-feu, une extension de sécurité ou un réglage de réseau de diffusion peut répondre 403 aux agents qui ne sont pas des navigateurs. Testez le code de statut renvoyé à chaque robot, pas seulement le contenu du robots.txt.

### Combien de temps faut-il pour que ma correction soit prise en compte ?

OpenAI et Perplexity indiquent qu’un changement de robots.txt peut prendre environ 24 heures pour être pris en compte par leurs systèmes. Attendez ce délai avant de retester, puis contrôlez à nouveau le code de statut.

### Le robots.txt protège-t-il mes pages contre l’exploration ?

Non : la RFC 9309 précise que ces règles ne sont pas une forme d’autorisation d’accès. Elles guident les robots qui les respectent. Pour réellement restreindre l’accès, il faut une authentification ou une règle côté serveur.

## Sources

- [OpenAI : présentation des robots d’OpenAI](https://developers.openai.com/api/docs/bots) (consulté le: 2026-10-08)
- [Anthropic : exploration du web et blocage du robot (centre d’aide Claude)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) (consulté le: 2026-10-08)
- [Perplexity : les robots d’exploration de Perplexity](https://docs.perplexity.ai/docs/resources/perplexity-crawlers) (consulté le: 2026-10-08)
- [Google Search Central : fonctions d’IA et votre site](https://developers.google.com/search/docs/appearance/ai-features) (consulté le: 2026-10-08)
- [RFC 9309 : Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309) (consulté le: 2026-10-08)
- [Cloudflare : bloquer les robots d’IA](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) (consulté le: 2026-10-08)
- [Cloudflare : Content Independence Day (1er juillet 2025)](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/) (consulté le: 2026-10-08)
- [Shopify.dev : personnaliser le fichier robots.txt](https://shopify.dev/docs/storefronts/themes/seo/robots-txt) (consulté le: 2026-10-08)
- [Documentation PrestaShop : SEO et URL (génération du robots.txt)](https://docs.prestashop-project.org/1.7-documentation/user-guide/configuring-shop/shop-parameters/traffic/seo-and-urls.md) (consulté le: 2026-10-08)
- [WordPress Developer Resources : do_robots()](https://developer.wordpress.org/reference/functions/do_robots/) (consulté le: 2026-10-08)

## Pages liées

- [Robots d’exploration IA](https://citetune.com/fr/glossaire/robots-exploration-ia)
- [Pourquoi ChatGPT ne cite pas votre boutique : 7 couches](https://citetune.com/fr/blog/pourquoi-chatgpt-ne-cite-pas-boutique)
- [Sites JavaScript : ce que les robots IA ne voient pas](https://citetune.com/fr/blog/sites-javascript-robots-ia)
- [Shopify, PrestaShop, WooCommerce : être lisible par l’IA](https://citetune.com/fr/blog/shopify-prestashop-woocommerce-chatgpt)
- [Agents IA bloqués ?](https://citetune.com/fr/outils/verificateur-acces-robots-ia)
- [Scan gratuit](https://citetune.com/fr/analyse-gratuite)