Een onderzoeker bij Anthropic is deze week opgestapt na harde kritiek op OpenAI en Anthropic. De medewerker zegt dat beide bedrijven onverantwoord omgaan met krachtige AI-systemen zoals Claude en ChatGPT. De stap zet de discussie over veiligheid en toezicht op scherp. De kwestie raakt direct aan de Europese AI-verordening (AI Act) en de gevolgen voor overheid en bedrijven in Nederland.
Onderzoeker verlaat Anthropic
De vertrokken onderzoeker werkte aan veiligheidstesten voor generatieve modellen, ook wel alignmentsystemen genoemd. Die systemen proberen het gedrag van een model te sturen zodat het geen schadelijke output geeft. Volgens de onderzoeker gaan releases toch te snel door, ondanks bekende risico’s. Het ontslag maakt interne spanningen bij grote AI-bedrijven zichtbaar.
Anthropic is bekend van de Claude-modellen, terwijl OpenAI ChatGPT en GPT-4o aanbiedt. Dit zijn zogenoemde algemene AI-systemen die veel verschillende taken kunnen uitvoeren. Juist daardoor zijn de effecten moeilijk te voorspellen. Kritiek richt zich op het opschalen van rekenkracht en het snel toevoegen van functies zonder voldoende waarborgen.
In een publiek statement spreekt de onderzoeker van “gokken met ons leven”. De aanklacht gaat over mogelijke misbruikscenario’s, zoals geavanceerde phishing, code-exploits of bioveiligheidsrisico’s. Ook zou er te weinig onafhankelijk toezicht zijn op beslissingen om nieuwe versies uit te rollen. Het bedrijf heeft op het moment van schrijven nog geen uitgebreid weerwoord gegeven.
“OpenAI en Anthropic handelen onverantwoordelijk en gokken met ons leven.”
Snelheid weegt zwaarder dan zorg
Grote aanbieders zitten in een wedloop om de nieuwste functies als eerste te lanceren. Nieuwe modellen scoren beter op benchmarks, maar veiligheidstests blijven achter. Red-teaming, een test waarbij externe teams doelbewust zwakke plekken zoeken, is vaak kort en niet publiek toetsbaar. Daardoor is het lastig voor buitenstaanders om risico’s te beoordelen.
Commerciële druk speelt mee. Functies als real-time spraak, codegeneratie en systeemintegraties vergroten het verdienmodel. Maar elke extra mogelijkheid kan ook nieuwe aanvalsroutes openen. Zonder strikte “go/no-go”-criteria en duidelijke drempels schuift de veiligheidslat ongemerkt omlaag.
OpenAI en Anthropic zeggen dat zij mitigaties toepassen, zoals filters, detectie van misbruik en beleid tegen gevaarlijke prompts. Toch blijft de kernvraag: wanneer is een model veilig genoeg voor brede uitrol? Zolang die norm niet helder en publiek is, ligt de nadruk in de praktijk op tempo. Dat is precies wat de vertrokken onderzoeker aankaart.
AI-Act verplicht risicobeheersing
De Europese AI-verordening (AI Act) stelt nieuwe plichten voor aanbieders van algemene AI-systemen, ook wel GPAI-modellen. Zij moeten duidelijke documentatie, evaluaties en gebruiksaanwijzingen leveren. Voor modellen met “systemisch risico” gelden zwaardere eisen, zoals diepgaande veiligheidsbeoordelingen, incidentmelding en maatregelen tegen misbruik. Deze regels gelden gefaseerd vanaf 2025 en 2026, op het moment van schrijven.
Voor generatieve modellen komen ook transparantieplichten, zoals uitleg over trainingsdata en bekende beperkingen. Daarnaast wordt verwacht dat aanbieders het labelen of herkennen van synthetische media ondersteunen. Dat helpt bij het tegengaan van desinformatie en deepfakes. Bedrijven die in de EU leveren, moeten hiermee rekening houden, ook als ze in de VS zijn gevestigd.
De Europese Commissie richt een AI Office op dat toezicht houdt op deze modelaanbieders. Nationale toezichthouders, zoals de Autoriteit Persoonsgegevens (AP) in Nederland, blijven verantwoordelijk voor domeinen als privacy onder de AVG. Samen moet dat een keten vormen van ontwikkelaar tot gebruiker. Het doel is dat risico’s vooraf worden beperkt, in plaats van achteraf gerepareerd.
Gevolgen voor Nederlandse organisaties
Overheden, scholen en zorginstellingen gebruiken steeds vaker generatieve AI voor tekst, analyse en klantcontact. Als zij tools als Claude of ChatGPT inzetten, moeten zij controleren of de aanbieder aan de AI-Act voldoet. Ook een gegevensbeschermingseffectbeoordeling (DPIA) onder de AVG kan nodig zijn. Dat hangt af van de aard van de data en het doel van de toepassing.
Wordt een generatief model onderdeel van een hoogrisicoproces, dan gelden extra eisen. Denk aan selectie van burgers, kredietbeoordeling of medische triage. De AI-Act verplicht dan strengere documentatie, menselijk toezicht en een kwaliteitsmanagementsysteem. Inkopers doen er goed aan deze eisen contractueel vast te leggen.
Praktisch betekent dit: vraag om modelkaarten, testresultaten en beleid tegen misbruik. Controleer of er incidentmeldingen en updateprocedures zijn. Kijk ook naar energierapportage en beveiligingsmaatregelen. Zo wordt “vertrouwen” meetbaar en handhaafbaar.
Transparantie schiet nog tekort
Veel veiligheidsinformatie blijft intern bij de aanbieders. Publiek beschikbare evaluaties zijn beperkt en moeilijk te vergelijken. Trainingdata, red-teammethodes en drempelwaarden voor release worden zelden volledig gedeeld. Daardoor is externe controle zwak.
Onafhankelijke audits kunnen dit verbeteren, mits auditors toegang krijgen tot relevante gegevens. Een audit zonder inzage in testplannen en incidenten is weinig waard. Europese richtsnoeren voor GPAI-audits zouden hier duidelijkheid kunnen geven. Dat helpt ook kleinere afnemers die niet zelf kunnen testen.
Zonder betere transparantie loopt de markt op reputatie in plaats van aantoonbare veiligheid. Dat vergroot het risico op “veiligheids-washing”. De kritiek van de opgestapte onderzoeker onderstreept dit gat. Het is nu aan bedrijven én toezichthouders om het te dichten.
Wat dit betekent voor gebruikers
Wie AI inkoopt, moet niet alleen naar functies kijken, maar ook naar risico’s en beheer. Vraag om duidelijke documentatie, herhaalbare tests en een plan voor incidenten. Let op hoe het systeem omgaat met misbruikscenario’s, zoals schadelijke code of manipulatieve teksten. En controleer of synthetische output herkenbaar is.
Voor publieke instellingen weegt dit extra zwaar. Zij moeten voldoen aan de AI-Act én de AVG, met principes als dataminimalisatie en versleuteling. Houd rekening met de risicoklasse van de toepassing, niet alleen met het model. Zo voorkom je dat een “hulpje” toch een hoogrisico-systeem wordt.
De kern: snelheid mag geen doel op zich zijn. Veiligheid, transparantie en toezicht horen standaard in elk AI-project. De recente opstap bij Anthropic maakt duidelijk dat dit nog niet vanzelf gaat. Europese regels geven richting, maar vragen nu om strikte uitvoering in de praktijk.