Een nieuwe analyse laat zien dat één op de vijf Nederlandse websites AI-zoekmachines blokkeert zonder dat de eigenaar dit doorheeft. Het gaat om diensten zoals Perplexity, You.com en de crawlers van OpenAI en Google. De oorzaak zit vaak in strakke robots.txt-regels of beveiligingsinstellingen. Dit speelt nu in Nederland en raakt ook de overheid en bedrijven, omdat de Europese AI-verordening gevolgen heeft voor hoe sites met algoritmen omgaan.
Onbedoelde blokkades door regels
Veel websites hebben regels in het bestand robots.txt die bots sturen waar ze wel of niet mogen crawlen. Een AI-zoekmachine gebruikt een bot (user-agent) om pagina’s te lezen en antwoorden te kunnen geven. Bekende namen zijn GPTBot (OpenAI), PerplexityBot (Perplexity) en CCBot (Common Crawl). Door generieke of verouderde regels worden deze bots soms onbedoeld geweerd.
Beheerders kopiëren vaak standaardinstellingen of plug-invoorbeelden zonder te testen. Dat gebeurt bijvoorbeeld bij regels die alle ‘onbekende’ bots blokkeren. Ook kan een brede blokkade voor trainingsbots tegelijk zoekbots raken. Zo verdwijnt recente inhoud uit AI-antwoorden, terwijl dat niet de bedoeling was.
Er is ook verwarring tussen crawlen voor zoeken en crawlen voor trainen. Google-Extended is bijvoorbeeld een signaal om gebruik van content voor Gemini-training te beperken. Het zegt niets over gewone indexering door Googlebot. Wie die signalen door elkaar gebruikt, blokkeert meer dan gepland.
“Op het moment van schrijven is circa 1 op de 5 Nederlandse sites onbereikbaar voor AI-zoekmachines door instellingen die bedoeld zijn voor iets anders.”
Zichtbaarheid in AI-resultaten daalt
Steeds meer mensen krijgen samenvattingen en citaten uit AI-systemen in plaats van tien blauwe links. Als uw site voor deze systemen onzichtbaar is, ontbreekt uw informatie in die antwoorden. Dat kan leiden tot minder verkeer en minder zichtbaarheid. Ook kunnen oudere kopieën van uw pagina rondgaan.
Voor nieuwsmedia, webwinkels en kennisinstellingen is dat een gemiste kans. AI-zoekmachines verwijzen vaak met bronlinks, die juist kwalitatief verkeer brengen. Door een te strenge blokkade komen die verwijzingen niet tot stand. Dat verzwakt uw positie in discussies en vergelijkingen.
De publieke sector voelt dit ook. Burgers stellen vragen aan assistenten over belastingen, zorg of reizen. Als officiële bronnen ontbreken in de dataset van de assistent, verschijnen minder betrouwbare derden. Dat is onwenselijk voor dienstverlening en vertrouwen.
Robots.txt vraagt precisie
Robots.txt is een eenvoudig tekstbestand dat bots vertelt wat mag. Het werkt op basis van namen (user-agents) en paden. Het is geen wet, maar het wordt breed gerespecteerd. Juist daarom vraagt het om precieze keuzes per bot.
Maak onderscheid tussen trainings- en zoekcrawlers. Sta bijvoorbeeld PerplexityBot toe als u in AI-antwoorden wilt verschijnen. Beperk GPTBot of Google-Extended als u hergebruik voor modeltraining niet wilt. Scheid die beslissingen en test ze elk apart.
Test uw regels met een eenvoudige check. Vraag een URL op met de user-agent van de gewenste bot en kijk of de server 200 of 403 teruggeeft. Controleer ook of een wildcard niet alles dichtzet. Documenteer tot slot uw beleid in een leesbaar commentaar in robots.txt.
Beveiliging filtert AI-bots mee
Web Application Firewalls en beveiligingsplug-ins blokkeren vaak agressieve of onbekende bots. Denk aan Cloudflare, Wordfence of Akamai. Deze tools geven dan een 403- of 503-code. AI-bots vallen daar soms ook onder, zelfs als robots.txt ze toestaat.
Stel daarom een toegestane lijst in voor bekende AI-bots die u wél wilt. Controleer of het IP-adres echt bij de bot hoort, om misbruik te voorkomen. Veel aanbieders leggen uit hoe u dit controleert. Beperk daarnaast het aantal verzoeken per minuut om piekbelasting te voorkomen.
Let ook op updates van bots en regels. User-agent-namen kunnen wijzigen of bijkomen. Hou changelogs van OpenAI, Perplexity en Common Crawl in de gaten. Pas uw filters en robots.txt op tijd aan.
Europese regels geven kaders
De Algemene verordening gegevensbescherming (AVG) stelt eisen aan het verwerken van persoonsgegevens. Als AI-bots pagina’s met persoonsgegevens ophalen, is een geldige grondslag nodig bij hergebruik. Websites kunnen toegang sturen, maar blijven zelf ook verantwoordelijk voor dataminimalisatie en duidelijke informatie. Versleuteling en toegangsbeheer helpen om risico’s te beperken.
De Europese AI-verordening (AI Act) verplicht grote modelbouwers tot meer transparantie over trainingsdata. Er komt nadruk op auteursrecht en op het respecteren van signalen om niet te trainen. Voor overheden en publieke instellingen betekent dit dat een helder crawlerbeleid nodig is. Dat voorkomt discussies over brongebruik en datadelen.
De juridische status van robots.txt als “opt-out” is geen hard recht. Toch weegt het mee in zorgvuldigheid onder Europese regels. Een machineleesbaar signaal maakt uw wens duidelijk voor ontwikkelaars van systemen. Combineer dit met duidelijke gebruiksvoorwaarden op uw site.
Stappenplan voor beheerders
Bepaal eerst uw beleid: wilt u wel zichtbaar zijn in AI-antwoorden, maar niet in modeltraining? Schrijf dat in één pagina op, in gewone taal. Kies vervolgens per bot wat u toestaat. Gebruik daarvoor aparte regels per user-agent.
Werk daarna uw techniek bij. Controleer robots.txt, securityfilters en plug-ins. Voeg bekende bots toe aan een toestaan-lijst en beperk hun snelheid. Test tien tot twintig belangrijke pagina’s met elke bot die u toelaat.
Monitor en evalueer. Bekijk in uw logs of AI-bots de site netjes en niet te vaak bezoeken. Meet verkeer uit AI-zoekmachines en kwaliteit van verwijzingen. Pas uw instellingen aan als de balans tussen zichtbaarheid, prestaties en rechten niet goed is.