AI-crawlers in robots.txt: welke toestaan en welke blokkeren
Door Jasper Paauwe. Bijgewerkt op .
Welke crawler wat doet
De aanbieders scheiden zoeken en training, en documenteren dat zelf. Blokkeer je alleen de trainingcrawlers, dan kun je nog steeds in zoekresultaten verschijnen.
| Crawler | Van | Waarvoor |
|---|---|---|
| OAI-SearchBot | OpenAI | Zoekresultaten in ChatGPT |
| GPTBot | OpenAI | Training van modellen |
| Claude-SearchBot | Anthropic | Zoekresultaten in Claude |
| ClaudeBot | Anthropic | Training van modellen |
| PerplexityBot | Perplexity | Zoekresultaten, niet voor training |
| Bingbot | Microsoft | Bing en Copilot |
| Google-Extended | Training en grounding van Gemini, niet Google Zoeken |
Crawlers die robots.txt niet altijd volgen
Sommige verzoeken komen niet van een crawler maar van een gebruiker die iets vraagt. Perplexity schrijft dat Perplexity-User robots.txt daarbij meestal negeert. Robots.txt is volgens de standaard ook een verzoek aan crawlers en geen beveiliging. Wil je iets echt afschermen, zet het dan achter een login.
JavaScript en de firewall
In metingen van Vercel en MERJ uit december 2024 voerde geen van de grote AI-crawlers JavaScript uit. Tekst die pas in de browser laadt, zien ze dus niet. Bekijk de paginabron om te controleren wat er echt in de HTML staat.
Een firewall of CDN kan crawlers tegenhouden die robots.txt wel toestaat. Onze check ziet alleen robots.txt, dus controleer die instellingen zelf ook.
Bronnen
- Overview of OpenAI Crawlers (OpenAI, 2026)
- Does Anthropic crawl data from the web? (Anthropic, 2026)
- Perplexity Crawlers (Perplexity, 2026)
- Google's common crawlers (Google, 2026)
- Webmaster Guidelines (Microsoft Bing, 2026)
- RFC 9309: Robots Exclusion Protocol (IETF, 2022)
- The rise of the AI crawler (Vercel en MERJ, 2024)