# GPTBot e outros rastreadores de IA

> Os rastreadores de IA são os bots que empresas como OpenAI, Anthropic, Perplexity e Google enviam para ler páginas web. Cada empresa opera vários, e cada um faz um trabalho diferente: alguns coletam dados de treinamento, alguns montam um índice de busca e alguns abrem a sua página na hora porque um usuário fez uma pergunta.

Fonte: https://citetune.com/pt/glossario/rastreadores-de-ia

## Qual bot faz o quê

OpenAI: o GPTBot coleta conteúdo para o treinamento de modelos; o OAI-SearchBot exibe sites na busca do ChatGPT, e um site que o bloqueia não aparece nas respostas da busca do ChatGPT; o ChatGPT-User busca páginas a pedido de um usuário, e a OpenAI observa que as regras do robots.txt podem não valer para ele.

Anthropic: ClaudeBot (treinamento), Claude-SearchBot (índice de busca) e Claude-User (buscas a pedido do usuário), e a Anthropic diz que todos respeitam o robots.txt. Perplexity: PerplexityBot (resultados de busca, não treinamento de modelos) e Perplexity-User (iniciado pelo usuário, geralmente ignora o robots.txt). O Google-Extended é um token de controle do robots.txt, não um bot separado; o Google diz que ele não afeta a inclusão na Pesquisa.

## Permitido no robots.txt, bloqueado no servidor

O robots.txt é uma declaração; o seu servidor, a sua CDN ou o seu firewall ainda podem barrar o mesmo bot. A Cloudflare anunciou em 1º de julho de 2025 que passaria a bloquear rastreadores de IA por padrão. Confira tanto o que o robots.txt diz quanto o que cada bot realmente recebe quando requisita uma página com o seu próprio user agent. O nosso escaneamento gratuito faz as duas coisas e mostra a resposta literal.

## Rastreadores de IA em uma tabela

Três provedores, cada um com vários rastreadores, segundo a própria documentação:

| Provedor | Rastreador de busca | Rastreador de treinamento | Rastreador iniciado pelo usuário |
|---|---|---|---|
| OpenAI | OAI-SearchBot | GPTBot | ChatGPT-User (o robots.txt pode não se aplicar) |
| Anthropic | Claude-SearchBot | ClaudeBot | Claude-User |
| Perplexity | PerplexityBot (não para treinamento) | nenhum indicado | Perplexity-User (em geral ignora o robots.txt) |

## Firewall e Cloudflare

Além do robots.txt, verifique bloqueios no servidor, na CDN e no WAF. A documentação da Cloudflare descreve, em Security Settings, “Configure AI bot policies” com as categorias Search, Agent e Training, que podem ser bloqueadas em toda a zona, só nas páginas com anúncios ou nunca; bloquear é uma decisão do cliente. A mesma página marca a opção anterior “Block AI bots” como descontinuada a partir de 15 de setembro de 2026 e descreve novos padrões para domínios novos desde essa data.

## Rastreadores de IA e uma loja brasileira

Permita o rastreador de busca de cada assistente em que você quer ser visível e decida à parte sobre o treinamento. Teste o código de status que cada rastreador realmente recebe, porque um firewall pode responder 403 mesmo que o seu robots.txt permita. Os detalhes, com as correções para Shopify, WooCommerce, VTEX, Nuvemshop e Tray, estão em [Sua loja está bloqueada para rastreadores de IA?](/pt/blog/loja-bloqueada-para-rastreadores-de-ia).

## Pontos principais

Bloquear o treinamento não é o mesmo que bloquear a busca. Verifique duas camadas: o arquivo robots.txt e a resposta real do servidor.

## Perguntas frequentes

### Se eu bloquear o GPTBot, desapareço do ChatGPT?

Não — são bots diferentes. Segundo a OpenAI, o GPTBot coleta dados de treinamento; aparecer nas respostas da busca do ChatGPT depende do OAI-SearchBot. Bloquear o GPTBot e permitir o OAI-SearchBot mantém o acesso para busca permitido pelo robots.txt sem autorizar o GPTBot a coletar conteúdo para treinamento; isso não garante que a sua página apareça em uma resposta.

### Como escrevo um robots.txt que permita os bots de busca por IA?

Abra um grupo por bot: “User-agent: OAI-SearchBot” seguido de “Allow: /”, e o mesmo para o Claude-SearchBot e o PerplexityBot. Para manter os bots de treinamento de fora, adicione “User-agent: GPTBot” com “Disallow: /”. Depois, confira se as requisições de teste enviadas pelo CiteTune com esses user-agents recebem resposta 200. Esse teste não comprova como o servidor trataria os IPs dos bots reais.

### Devo permitir os rastreadores de treinamento?

É uma decisão de negócio e jurídica que cabe a você. Para aparecer na função de busca de um assistente conta o rastreador de busca (OAI-SearchBot, Claude-SearchBot, PerplexityBot); segundo os provedores, recusar o GPTBot ou o ClaudeBot não impede que você apareça nos resultados de busca.

## Termos relacionados

- [Arquivo llms.txt](https://citetune.com/pt/glossario/llms-txt)
- [Pré-renderização e SSR](https://citetune.com/pt/glossario/pre-renderizacao-ssr)
- [Recuperação x citação](https://citetune.com/pt/glossario/recuperacao-e-citacao)
- [Visões gerais criadas por IA](https://citetune.com/pt/glossario/visao-geral-criada-por-ia)

## Artigos sobre este assunto

- [Sua loja está bloqueada para rastreadores de IA?](https://citetune.com/pt/blog/loja-bloqueada-para-rastreadores-de-ia)
- [Shopify, Nuvemshop, VTEX, WooCommerce, Tray e ChatGPT](https://citetune.com/pt/blog/shopify-nuvemshop-vtex-woocommerce-tray-e-chatgpt)
- [Por que o ChatGPT não menciona sua loja: 7 causas](https://citetune.com/pt/blog/por-que-o-chatgpt-nao-menciona-sua-loja)

## Fontes

- [developers.openai.com — Overview of OpenAI crawlers](https://developers.openai.com/api/docs/bots)
- [support.claude.com — Anthropic crawlers and robots.txt](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [docs.perplexity.ai — Perplexity crawlers](https://docs.perplexity.ai/guides/bots)
- [developers.google.com — Google common crawlers (Google-Extended)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers)
- [rfc-editor.org — RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309)
- [blog.cloudflare.com — AI crawlers blocked by default (01.07.2025)](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/)
- [developers.cloudflare.com — Bloquear bots de IA](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/)
- [docs.perplexity.ai — Os rastreadores da Perplexity](https://docs.perplexity.ai/docs/resources/perplexity-crawlers)
- [mercadolivre.com.br — robots.txt (lido em 09.10.2026)](https://www.mercadolivre.com.br/robots.txt)

Escrito por: Equipe CiteTune, FLAPP Bilişim A.Ş. · Atualizado em: 2026-09-30