Een medewerker van Anthropic, het Amerikaanse AI-bedrijf achter het Claude-model, waarschuwt deze week publiekelijk voor een reële kans dat kunstmatige intelligentie de mensheid kan uitroeien. De zorg gaat over steeds krachtiger en autonomer werkende systemen die moeilijk te sturen zijn. De uitspraak valt midden in de discussie over zogeheten existentiële risico’s, risico’s met gevolgen op het niveau van de hele mensheid. Het nieuws raakt ook Europa, waar de AI-verordening strengere regels invoert voor generieke modellen en overheidstoepassingen.
Risico op uitroeiing benoemd
De medewerker stelt dat zeer geavanceerde algoritmen onverwachte vermogens kunnen ontwikkelen. Zulke systemen kunnen taken plannen, nieuwe strategieën verzinnen en zichzelf verbeteren. Als zo’n model doelen nastreeft die botsen met menselijke waarden, kan verlies van controle ontstaan. Dat mechanisme staat in het debat bekend als een existentiëel risico.
De kern van de zorg is niet dat de kans groot is, maar dat de impact enorm kan zijn. Een kleine kans met enorme schade vraagt om voorzorg, zegt de medewerker. Daarbij spelen ook misbruikrisico’s mee, zoals cyberaanvallen of bioveiligheid. Zulke risico’s nemen toe naarmate modellen goedkoper, sneller en breder beschikbaar worden.
De waarschuwing sluit aan bij eerdere zorgen in de AI-sector. Grote ontwikkelaars vergroten hun testprogramma’s en voeren zogeheten red-teams op, teams die actief naar zwaktes zoeken. Toch blijven er hiaten in controle en uitlegbaarheid. Daardoor is het lastig om alle gevaarlijke capaciteiten op tijd te herkennen.
“De kans op een catastrofe door AI ligt tussen de 10 en 25 procent,” stelde Anthropic-CEO Dario Amodei eerder dit jaar.
Anthropic focust op veiligheid
Anthropic ontwikkelt de Claude-modellen, waaronder Claude 3 en Claude 3.5 Sonnet, die tekst kunnen begrijpen en genereren. Het bedrijf staat bekend om Constitutional AI, een trainingsmethode die modellen langs een vaste set principes stuurt. Die aanpak moet schadelijke uitkomsten verminderen en de uitkomst voorspelbaarder maken. Tegelijk erkent Anthropic dat volledige controle nog niet haalbaar is.
Het bedrijf werkt met veiligheidstesten, onafhankelijke audits en scenario-oefeningen. Zulke evaluaties meten wat een model kan op gevoelige gebieden, zoals cyberbeveiliging of chemie. Bij verhoogd risico worden functies beperkt of alleen onder toezicht aangeboden. Toch blijft het moeilijk om toekomstige, nog onbekende vermogens te meten.
Anthropic zegt groei te willen koppelen aan strengere veiligheidsdrempels. Dat heet een responsible scaling policy: uitbreiden mag pas na extra waarborgen. Denk aan noodstopmechanismen, incidentrapportage en strengere toegang voor ontwikkelaars. Die lijn moet voorkomen dat het bedrijf te snel te krachtige functies vrijgeeft.
AI-verordening streng voor GPAI
De Europese AI-verordening (AI Act) verdeelt toepassingen in risicoklassen, met zwaardere eisen bij hoger risico. Generatieve basismodellen, ook wel general purpose AI (GPAI) genoemd, zoals Claude, krijgen eigen verplichtingen. Leveranciers moeten technische documentatie, veiligheidstesten en heldere gebruiksvoorwaarden opleveren. Ook moeten zij misleidende of gevaarlijke uitkomsten beperken.
Voor GPAI met systemisch risico komen extra plichten. Die omvatten diepgaande evaluaties, robuuste red-teams en incidentmelding bij het European AI Office. Fabrikanten moeten ook meer openheid geven over energiegebruik en modelgedrag. Overtredingen kunnen leiden tot hoge boetes, oplopend tot miljoenen euro’s of een percentage van de omzet.
De AI Act werkt samen met bestaande privacyregels zoals de AVG. Dat betekent dat dataminimalisatie, beveiliging en doelbinding verplicht blijven. Bedrijven moeten dus zowel modelveiligheid als gegevensbescherming aantonen. Voor gebruikers schept dit meer duidelijkheid over rechten en klachtenprocedures.
AI-verordening: gevolgen overheid
Nederlandse overheden die AI inzetten vallen straks onder de AI Act en de AVG. Toepassingen met veel impact op burgers gelden al snel als hoog risico. Dan zijn er eisen voor menselijke controle, logregistratie en kwaliteitsbeheer van data. Een Data Protection Impact Assessment (DPIA) is in zulke gevallen noodzakelijk.
De Autoriteit Persoonsgegevens (AP) bouwt, op het moment van schrijven, verder aan toezicht op algoritmen. Sectorale toezichthouders, zoals de ACM in markten en telecom, blijven aanvullend actief. Publieke instellingen moeten hun modellen en datastromen beter documenteren. Het Rijk en gemeenten werken aan kaders en registers om algoritmen inzichtelijk te maken.
Inkoop en aanbesteding veranderen ook. Overheden zullen voorwaarden stellen aan leveranciers van GPAI, zoals Anthropic, over veiligheidstesten en incidentmeldingen. Contracten gaan vaker eisen dat modelupdates geen nieuwe risico’s introduceren. Dat dwingt tot blijvende monitoring, ook na livegang.
Techniek blijft onvoorspelbaar
Grote taalmodellen leren uit enorme hoeveelheden tekst en code. Ze kunnen patronen vinden, maar begrijpen de wereld niet zoals mensen dat doen. Daardoor ontstaan hallucinaties: feitelijk onjuiste maar overtuigende antwoorden. Voor kritieke toepassingen is dat een direct risico.
Daarnaast kunnen nieuwe vermogens plots opduiken bij opschalen, zonder dat onderzoekers die voorzien. Interpretatiehulpmiddelen, die laten zien waarom een model iets doet, staan nog in de kinderschoenen. Evaluaties dekken vaak bekende problemen, maar missen onbekende failure modes. Dat maakt voorzorgsmaatregelen en gefaseerde uitrol onmisbaar.
Voor organisaties betekent dit: beperk gevaarlijke functies, scheid omgevingen en log beslissingen. Voer onafhankelijke red-teams uit en stel een noodstop in voor modeltoegang. Gebruik watermerken en herkomstlabels voor gegenereerde content, waar mogelijk. En toets beleid en techniek steeds aan de AI Act en de AVG.