# GPTBot en andere AI-crawlers

> AI-crawlers zijn de bots die bedrijven als OpenAI, Anthropic, Perplexity en Google sturen om webpagina’s te lezen. Elk bedrijf heeft er meerdere en elk doet ander werk: sommige verzamelen trainingsgegevens, sommige bouwen een zoekindex en sommige openen je pagina ter plekke omdat een gebruiker een vraag stelde.

Bron: https://citetune.com/nl/woordenlijst/ai-crawlers

## Welke bot doet wat

OpenAI: GPTBot verzamelt content voor modeltraining; OAI-SearchBot toont sites in de zoekfuncties van ChatGPT, en een site die hem blokkeert, verschijnt niet in de zoekantwoorden van ChatGPT; ChatGPT-User haalt pagina’s op wanneer een gebruiker erom vraagt, en OpenAI merkt op dat regels in robots.txt daarop mogelijk niet van toepassing zijn.

Anthropic: ClaudeBot (training), Claude-SearchBot (zoekindex) en Claude-User (opvragen op verzoek van de gebruiker), die volgens Anthropic allemaal robots.txt respecteren. Perplexity: PerplexityBot (zoekresultaten, geen modeltraining) en Perplexity-User (op initiatief van de gebruiker, negeert robots.txt doorgaans). Google-Extended is een besturingstoken voor robots.txt, geen aparte bot; Google zegt dat het de opname in Zoeken niet beïnvloedt.

## Toegestaan in robots.txt, geblokkeerd op de server

robots.txt is een verklaring; je server, CDN of firewall kan dezelfde bot nog steeds weigeren. Cloudflare kondigde op 1 juli 2025 aan over te stappen op het standaard blokkeren van AI-crawlers. Controleer zowel wat robots.txt zegt als wat elke bot echt ontvangt wanneer hij onder zijn eigen user-agent een pagina opvraagt. Onze gratis scan doet beide en toont het antwoord letterlijk.

## AI-crawlers in een tabel

Drie aanbieders, elk met meerdere crawlers, volgens hun eigen documentatie:

| Aanbieder | Zoekcrawler | Trainingscrawler | Door de gebruiker gestarte crawler |
|---|---|---|---|
| OpenAI | OAI-SearchBot | GPTBot | ChatGPT-User (robots.txt geldt mogelijk niet) |
| Anthropic | Claude-SearchBot | ClaudeBot | Claude-User |
| Perplexity | PerplexityBot (niet voor training) | Niet vermeld | Perplexity-User (negeert robots.txt in de regel) |

## Firewall en Cloudflare

De blokkade komt vaak van de server, niet van de robots.txt. De documentatie van Cloudflare beschrijft onder Security Settings “Configure AI bot policies” met de categorieën Search, Agent en Training, die elk voor de hele zone, alleen op pagina’s met advertenties of helemaal niet kunnen worden geblokkeerd; het blokkeren is een keuze van de klant. Dezelfde pagina noemt de oudere optie “Block AI bots” als uitlopend per 15 september 2026 en beschrijft nieuwe standaardinstellingen voor nieuwe domeinen vanaf die datum.

## AI-crawlers en een Nederlandse of Vlaamse webshop

Sta de zoekcrawler toe van elke assistent waarin je zichtbaar wilt zijn en beslis apart over training. Test de statuscode die elke crawler werkelijk krijgt, want een firewall kan met 403 antwoorden terwijl je robots.txt de crawler toestaat. De details, met de oplossingen voor Shopify, Lightspeed, WooCommerce en Magento, staan in [Is je webshop geblokkeerd voor AI-crawlers?](/nl/blog/webshop-geblokkeerd-voor-ai-crawlers).

## Belangrijkste punten

Training blokkeren is niet hetzelfde als zoeken blokkeren. Controleer twee lagen: het bestand robots.txt en het werkelijke antwoord van de server.

## Veelgestelde vragen

### Als ik GPTBot blokkeer, verdwijn ik dan uit ChatGPT?

Nee, het zijn verschillende bots. Volgens OpenAI verzamelt GPTBot trainingsgegevens; verschijnen in de zoekantwoorden van ChatGPT hangt af van OAI-SearchBot. GPTBot blokkeren en OAI-SearchBot toestaan houdt je buiten de training en in de zoekresultaten.

### Hoe schrijf ik een robots.txt die AI-zoekbots toestaat?

Open per zoekbot één groep: “User-agent: OAI-SearchBot” gevolgd door “Allow: /”, en hetzelfde voor Claude-SearchBot en PerplexityBot. Om trainingsbots buiten te houden, voeg je “User-agent: GPTBot” met “Disallow: /” en “User-agent: ClaudeBot” met “Disallow: /” toe. Test daarna hoe je server reageert op verzoeken met die user agents; een 200 bij zo’n test bewijst niet dat de echte crawler toegang heeft.

### Moet ik trainingscrawlers toestaan?

Dat is een zakelijke en juridische beslissing die bij jou ligt. Om in de zoekfunctie van een assistent te verschijnen telt de zoekcrawler (OAI-SearchBot, Claude-SearchBot, PerplexityBot); GPTBot of ClaudeBot weigeren belet volgens hun aanbieders niet dat je in de zoekresultaten wordt getoond.

## Verwante termen

- [llms.txt-bestand](https://citetune.com/nl/woordenlijst/llms-txt)
- [Prerendering en SSR](https://citetune.com/nl/woordenlijst/prerendering-ssr)
- [Retrieval versus citatie](https://citetune.com/nl/woordenlijst/retrieval-en-citatie)
- [AI-overzichten](https://citetune.com/nl/woordenlijst/ai-overzichten)

## Artikelen over dit onderwerp

- [Is je webshop geblokkeerd voor AI-crawlers?](https://citetune.com/nl/blog/webshop-geblokkeerd-voor-ai-crawlers)
- [Shopify, Lightspeed, WooCommerce, Magento en ChatGPT](https://citetune.com/nl/blog/shopify-lightspeed-woocommerce-magento-chatgpt)
- [Waarom ChatGPT je webshop niet noemt: 7 oorzaken](https://citetune.com/nl/blog/waarom-chatgpt-je-webshop-niet-noemt)

## Bronnen

- [developers.openai.com — Overview of OpenAI crawlers](https://developers.openai.com/api/docs/bots)
- [support.claude.com — Anthropic crawlers and robots.txt](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [docs.perplexity.ai — Perplexity crawlers](https://docs.perplexity.ai/guides/bots)
- [developers.google.com — Google common crawlers (Google-Extended)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers)
- [rfc-editor.org — RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309)
- [blog.cloudflare.com — AI crawlers blocked by default (01.07.2025)](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/)
- [developers.cloudflare.com — AI-bots blokkeren](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/)
- [docs.perplexity.ai — De crawlers van Perplexity](https://docs.perplexity.ai/docs/resources/perplexity-crawlers)

Door: Het CiteTune-team, FLAPP Bilişim A.Ş. · Laatst bijgewerkt: 2026-09-30