# Is je webshop geblokkeerd voor AI-crawlers?

Bron: https://citetune.com/nl/blog/webshop-geblokkeerd-voor-ai-crawlers

Geschreven door: Het CiteTune-team · Gepubliceerd op: 2026-10-09 · Bijgewerkt op: 2026-10-09 · 8 min leestijd

## Kort antwoord

Een webshop kan op twee plekken voor AI-crawlers zijn geblokkeerd: in de robots.txt, die een regel uitdrukt, en in de server of firewall, die los daarvan met 403 kunnen antwoorden. Voor de zoekfunctie van ChatGPT moet OAI-SearchBot zijn toegestaan; GPTBot gaat alleen over training. Controleer beide lagen.

## Twee lagen, twee mogelijke oorzaken

Komt een webshop in geen enkel AI-antwoord voor, dan is de eerste controle de eenvoudigste: kunnen de crawlers je pagina’s überhaupt lezen? Twee aparte mechanismen beantwoorden die vraag en ze worden vaak door elkaar gehaald.

Het eerste is het bestand robots.txt. Het is gestandaardiseerd in RFC 9309 en zegt crawlers welke paden ze mogen ophalen. Dezelfde RFC stelt dat deze regels geen vorm van toegangscontrole zijn: een eerlijke crawler houdt zich eraan, maar afgedwongen wordt het niet. Het tweede mechanisme is de server zelf of alles wat ervoor staat: een CDN, een Web Application Firewall, een beveiligingsplug-in. Die beslist wat er werkelijk terugkomt en kan een crawler met 403 antwoorden die je robots.txt toestaat.

Een webshop kan in de robots.txt dus “ja” zeggen en in het antwoord “nee”. Omgekeerd volstaat één Disallow-regel in de robots.txt om een crawler weg te houden die haar volgt, ook al zou de server hem graag bedienen. Je moet beide controleren. Ontbreekt de robots.txt of geeft ze een 4xx, dan mogen crawlers volgens de RFC alles ophalen; geeft ze een 5xx, dan moeten ze aannemen dat alles verboden is. Een tijdelijke serverstoring op dat ene bestand kan je dus een tijd lang buitensluiten.

## Welke crawlers, waarvoor?

Elke aanbieder onderscheidt meerdere crawlers met verschillende taken. Onthoud: de trainingscrawler blokkeren is niet hetzelfde als de zoekfunctie blokkeren.

| Crawler | Aanbieder | Taak volgens de aanbieder | Aan te sturen met robots.txt |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Laat websites verschijnen in de zoekfuncties van ChatGPT | Ja. Wie hem weigert, verschijnt niet in de zoekantwoorden van ChatGPT (als navigatielink kan hij er toch in komen) |
| GPTBot | OpenAI | Haalt inhoud op die kan dienen voor het trainen van modellen | Ja. Weigeren betekent dat de inhoud niet voor training mag dienen |
| ChatGPT-User | OpenAI | Bezoekt een pagina wanneer een gebruiker daarom vraagt of een GPT gebruikt | Niet betrouwbaar: omdat de gebruiker de actie start, gelden robots.txt-regels mogelijk niet |
| ClaudeBot | Anthropic | Verzamelt openbare inhoud die kan bijdragen aan training | Ja |
| Claude-SearchBot | Anthropic | Indexeert inhoud om zoekresultaten relevanter te maken | Ja. Wordt hij geblokkeerd, dan kan je site minder zichtbaar zijn in die resultaten |
| Claude-User | Anthropic | Haalt pagina’s op wanneer een vraag in Claude dat vereist | Ja. Blokkeren kan de zichtbaarheid in door gebruikers gestuurde zoekopdrachten verminderen |
| PerplexityBot | Perplexity | Laat websites verschijnen en linkt ze in zoekresultaten; niet voor het trainen van modellen | Ja. Perplexity raadt aan hem toe te staan om te verschijnen |
| Perplexity-User | Perplexity | Haalt een pagina op wanneer de vraag van een gebruiker dat vereist | In de regel niet: de gebruiker start het ophalen, je robots.txt stuurt het niet |

> Bij Google leunen de AI-overzichten en de AI-modus op Googlebot: de crawlbesturing is dus de robots.txt voor Googlebot, de weergavegrenzen stel je in met nosnippet, data-nosnippet, max-snippet of noindex. Google-Extended is niet bepalend voor hoe de AI-functies in Zoeken werken.

Volgens OpenAI kan het ongeveer 24 uur duren voordat een wijziging in de robots.txt voor de zoekfunctie is verwerkt. Trek dus een uur na een wijziging geen conclusie.

## De firewall en Cloudflare

Veel webshops zetten Cloudflare voor hun site of gebruiken een beveiligingsplug-in die bots filtert. De documentatie van Cloudflare beschrijft onder Security Settings het onderdeel “Configure AI bot policies” met drie categorieën, Search, Agent en Training, die je elk voor de hele zone, alleen op pagina’s met advertenties of helemaal niet kunt blokkeren. Dezelfde pagina noemt de oudere optie “Block AI bots” als uitlopend per 15 september 2026 en beschrijft nieuwe standaardinstellingen voor nieuwe domeinen vanaf die datum.

Cloudflare kondigde bovendien op 1 juli 2025 aan de standaard te willen omzetten naar het blokkeren van AI-crawlers, tenzij ze makers vergoeden. Lees daarom de instelling van je eigen zone na in plaats van aan te nemen dat ze neutraal is gebleven.

- In Cloudflare: open de AI-botbeleidsconfiguratie en noteer per categorie wat is geblokkeerd of toegestaan.
- In een beveiligingsplug-in (WordPress, Magento, Lightspeed-apps): zoek opties als “bots blokkeren”, “under attack-modus” of “JavaScript-challenge” die voor elke bezoeker zonder cookie gelden.
- Bij je hostingpartij: vraag of een Web Application Firewall onbekende user-agents filtert. Veel WAF’s antwoorden elke client die geen browser is met 403.

## Testen in vijf minuten

1. Open https://jouw-webshop.nl/robots.txt in de browser en lees het bestand helemaal: let op User-agent-blokken die een AI-crawler noemen en op het blok User-agent: * met zijn Disallow-regels.
2. Controleer dat het bestand met 200 antwoordt, als platte tekst, en van het juiste domein komt (met of zonder www en op elk subdomein van je webshop).
3. Haal een productpagina op met de naam van een crawler als user-agent en bekijk de statuscode.

```bash
# Statuscode van een productpagina zoals OAI-SearchBot hem ziet (test alleen via de user-agent)
curl -s -o /dev/null -w "%{http_code}\n" -A "OAI-SearchBot" https://jouw-webshop.nl/producten/voorbeeld

# Dezelfde test met een browser-user-agent ter vergelijking
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0" https://jouw-webshop.nl/producten/voorbeeld
```

Geeft de eerste test 403 en de tweede 200, dan behandelt je firewall crawlers anders dan browsers. Let op: deze test verandert alleen de user-agent. Een firewall die daarnaast het IP-adres van de crawlers controleert, kan echte crawlers anders antwoorden dan je eigen computer. Anthropic raadt blokkeren op IP-adres af omdat het de bot belet je robots.txt te lezen, en publiceert zijn IP-adressen alleen om te controleren of verkeer echt van Anthropic komt. Onze [checker voor toegang van AI-bots](https://citetune.com/nl/tools/ai-bot-toegang-controleren) doet het voor je: hij leest de robots.txt, haalt je site op als elke crawler en toont wat je server terugstuurt.

## Corrigeren, platform voor platform

Dit is de minimale vrijgave waarmee je webshop in aanmerking komt voor de zoekfunctie van ChatGPT, Claude en Perplexity, zonder training toe te staan:

```text
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /
```

Die keuze is aan jou: training toestaan of weigeren is een zakelijke en juridische beslissing, geen technische. Belangrijk is alleen dat je geen algemene Disallow schrijft die per ongeluk ook de zoekcrawlers buitensluit.

- **Shopify:** de robots.txt wordt door het platform gegenereerd. Om haar aan te passen maak je in de map Templates van je thema een sjabloon robots.txt.liquid; zodra dat bestaat, vervangt het de gegenereerde uitvoer. Shopify raadt aan de Liquid-objecten te gebruiken in plaats van platte tekst en de uitvoer voor het publiceren te vergelijken met je huidige bestand.
- **Lightspeed eCom (C-Series):** volgens de supportpagina van Lightspeed bewerk je de robots.txt via Settings, Website Settings, Web Extras, onderdeel ROBOTS.TXT. Standaard blokkeert het bestand de inlogpagina van het back-office (/admin), het winkelwagentje (/cart), vergelijkpagina’s (/compare) en de kassa (/checkout), en verwijst het naar je sitemap. Lightspeed zegt dat aanpassen niet nodig is en alleen raadzaam met SEO-ervaring.
- **WooCommerce (WordPress):** zonder fysiek bestand genereert WordPress een standaard-robots.txt die je via het filter robots_txt kunt aanpassen. Sinds WordPress 5.3 voegt de optie om zoekmachines te ontmoedigen geen blanket Disallow: / meer toe aan dat bestand, maar werkt ze met een robots-metatag.
- **Magento (Adobe Commerce):** volgens de documentatie van Adobe vind je de instellingen onder Content, Design, Configuration, bij de rij Global onder Search Engine Robots. De standaardinstructies houden alle crawlers uit interne en systeemgebieden zoals checkout, customer en catalog; in het vak voor eigen instructies kun je ze aanpassen en met Reset to Default herstellen.

## Wanneer blokkeren een redelijke keuze is

Blokkeren is op zich geen fout. Een uitgever die zijn inhoud vermarkt, of een webshop die niet wil dat zijn beschrijvingen een model trainen, kan GPTBot en ClaudeBot terecht weigeren. De fout is ongemerkt blokkeren, of de zoekfunctie blokkeren omdat je de training wilt blokkeren.

Is de toegang hersteld, dan is de volgende stap controleren of de tekst van je pagina’s in de HTML staat die de crawler krijgt ([JavaScript-webshops en AI-crawlers](https://citetune.com/nl/blog/javascript-webshops-en-ai-crawlers)) en daarna begrijpen waarom een merk zonder link wordt genoemd ([genoemd maar niet geciteerd](https://citetune.com/nl/blog/merk-genoemd-maar-niet-geciteerd)). Een volledige diagnose in zeven lagen staat in [waarom ChatGPT je webshop niet noemt](https://citetune.com/nl/blog/waarom-chatgpt-je-webshop-niet-noemt).

## Veelgestelde vragen

### Moet ik GPTBot toestaan om in ChatGPT te verschijnen?

Niet voor de zoekfunctie. OpenAI beschrijft OAI-SearchBot als de crawler die websites in de zoekfuncties van ChatGPT laat verschijnen en GPTBot als die voor inhoud die voor training kan dienen. GPTBot weigeren belet dus niet dat je in zoekantwoorden wordt getoond, zolang OAI-SearchBot is toegestaan.

### Mijn robots.txt staat alles toe, waarom komen de crawlers er toch niet door?

Omdat de blokkade van de server kan komen en niet van het bestand. Een firewall, een beveiligingsplug-in of een instelling in je CDN kan agents die geen browser zijn met 403 antwoorden. Test de statuscode die elke crawler krijgt, niet alleen de inhoud van de robots.txt.

### Hoe lang duurt het voordat mijn correctie werkt?

OpenAI geeft aan dat een wijziging in de robots.txt voor de zoekfunctie ongeveer 24 uur kan duren voordat zijn systemen haar meenemen. Wacht die tijd af voordat je opnieuw test en controleer dan de statuscode nog eens.

### Beschermt de robots.txt mijn pagina’s tegen ophalen?

Nee: RFC 9309 stelt dat deze regels geen vorm van toegangscontrole zijn. Ze sturen crawlers die ze volgen. Om de toegang echt te beperken heb je authenticatie of een regel op de server nodig.

## Bronnen

- [OpenAI: Overzicht van de crawlers van OpenAI](https://developers.openai.com/api/docs/bots) (geraadpleegd op: 2026-10-09)
- [Anthropic: Crawlt Anthropic het web en hoe blokkeren sitebeheerders de crawler (Claude-hulp)](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) (geraadpleegd op: 2026-10-09)
- [Perplexity: De crawlers van Perplexity](https://docs.perplexity.ai/docs/resources/perplexity-crawlers) (geraadpleegd op: 2026-10-09)
- [Google Search Central: AI-functies en je website](https://developers.google.com/search/docs/appearance/ai-features?hl=nl) (geraadpleegd op: 2026-10-09)
- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309) (geraadpleegd op: 2026-10-09)
- [Cloudflare: AI-bots blokkeren](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) (geraadpleegd op: 2026-10-09)
- [Cloudflare: Content Independence Day (1 juli 2025)](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/) (geraadpleegd op: 2026-10-09)
- [Shopify.dev: De robots.txt aanpassen](https://shopify.dev/docs/storefronts/themes/seo/robots-txt) (geraadpleegd op: 2026-10-09)
- [Lightspeed eCom (C-Series): Je robots.txt-bestand bewerken](https://ecom-support.lightspeedhq.com/hc/en-us/articles/220319948-Editing-your-robots-txt-file) (geraadpleegd op: 2026-10-09)
- [WordPress Developer Resources: do_robots()](https://developer.wordpress.org/reference/functions/do_robots/) (geraadpleegd op: 2026-10-09)
- [Adobe Commerce: SEO-overzicht (robots.txt)](https://experienceleague.adobe.com/en/docs/commerce-admin/marketing/seo/seo-overview) (geraadpleegd op: 2026-10-09)

## Gerelateerde pagina’s

- [AI-crawlers](https://citetune.com/nl/woordenlijst/ai-crawlers)
- [Waarom ChatGPT je webshop niet noemt: 7 oorzaken](https://citetune.com/nl/blog/waarom-chatgpt-je-webshop-niet-noemt)
- [JavaScript-webshops en AI-crawlers: wat ziet de bot?](https://citetune.com/nl/blog/javascript-webshops-en-ai-crawlers)
- [Shopify, Lightspeed, WooCommerce, Magento en ChatGPT](https://citetune.com/nl/blog/shopify-lightspeed-woocommerce-magento-chatgpt)
- [Worden AI-agents geblokkeerd?](https://citetune.com/nl/tools/ai-bot-toegang-controleren)
- [Gratis scan](https://citetune.com/nl/gratis-scan)