Een vooraanstaand AI-onderzoeker waarschuwt deze week voor een kans van meer dan 10 procent dat kunstmatige intelligentie de mensheid kan uitroeien. De boodschap komt te midden van snelle vooruitgang bij modellen van OpenAI, Google DeepMind, Anthropic en Meta. Het debat speelt in Europa en Nederland, waar overheid en bedrijven zich voorbereiden op de nieuwe Europese AI-verordening (AI Act). De kernvraag: hoe houden we controle over steeds krachtigere systemen, en wanneer is het risico te groot?
Risico op verlies van controle
De zorg draait om systemen die eigen doelen leren nastreven. Dit zijn algoritmen die niet alleen tekst of beeld maken, maar ook zelfstandig stappen uitvoeren, zoals het schrijven en draaien van code. Als zulke systemen verkeerd zijn afgestemd, kan hun gedrag botsen met menselijke bedoeling.
Generatieve AI is software die nieuwe inhoud maakt, bijvoorbeeld tekst, audio of beeld. De nieuwste modellen, zoals GPT-4o, Gemini 1.5 en Claude 3, kunnen taken combineren en plannen. Die zogeheten agent‑functies vergroten nut, maar ook het risico op ongewenst handelen.
Een fout of misbruik op grote schaal kan snel uitwaaieren via het internet. Denk aan geautomatiseerde cyberaanvallen, manipulatie van informatie of het aansturen van fysieke systemen. Hoe krachtiger en autonomer de modellen, hoe groter het systeemrisico.
Veiligheidstesten schieten tekort
Veel huidige veiligheidstesten meten vooral wat chatbots zeggen. Dat geeft geen volledig beeld van wat een model kan als het tools mag gebruiken, zoals code-uitvoering of toegang tot externe data. Er is nog geen breed gedragen norm voor het testen van doelgericht, hardnekkig of misleidend gedrag.
Labs zoals OpenAI, Anthropic en Google DeepMind doen zogeheten red teaming en publiceren “modelkaarten”. Zulke documenten leggen uit waarvoor het model is getraind en waar de grenzen liggen. De methoden verschillen echter per bedrijf, en onafhankelijke verificatie is beperkt.
Ook het meten van gevaarlijke capaciteiten staat in de kinderschoenen. Dat geldt voor bioveiligheid, grootschalige cyberinbraak en het omzeilen van veiligheidsregels door het model zelf. Zonder gestandaardiseerde toetsen blijft het lastig om risico’s eerlijk te vergelijken.
Europese AI-verordening grijpt in
De AI Act, op het moment van schrijven aangenomen in de EU, legt risicogebaseerde regels op. Onaanvaardbare toepassingen worden verboden, en “hoog-risico” systemen krijgen strikte eisen voor risicobeheer, datakwaliteit, logging en menselijk toezicht. Dit raakt onder meer AI in sollicitaties, krediet, zorg en overheid.
De verordening bevat ook regels voor algemene AI-modellen (GPAI), inclusief grote modellen met “systemisch risico”. Voor die categorie gelden zwaardere plichten, zoals state‑of‑the‑art evaluaties, robuuste red teaming en incidentmelding aan het Europese AI Office. Transparantie over mogelijkheden en beperkingen wordt de norm.
Voor gebruikers in Europa verandert er ook wat. Bedrijven en instellingen moeten beter documenteren hoe zij AI inzetten en welke waarborgen gelden. Dit sluit aan op bestaande plichten uit de AVG, zoals dataminimalisatie en beveiliging van persoonsgegevens.
Nederlandse gevolgen voor overheid
Publieke diensten gebruiken steeds vaker algoritmen voor selectie, toezicht en dienstverlening. Denk aan gemeenten, uitvoeringsorganisaties en onderwijsinstellingen. Met de AI Act komt extra aandacht voor menselijk toezicht en uitlegbaarheid in beslissingen die burgers raken.
Gemeenten experimenteren met algoritmeregisters om inzicht te geven in gebruikte systemen. Dat helpt bij transparantie en bij het nakomen van de informatieplicht onder de AVG. De nieuwe Europese regels maken zulke registers nuttiger, omdat zij het beheer en de verantwoording structureren.
Voor aanbestedingen van AI‑oplossingen wordt conformiteit belangrijker. Leveranciers zullen moeten aantonen dat hun systemen voldoen aan risicobeheer en documentatie-eisen. Overheden doen er goed aan om dat vanaf het begin in bestekken op te nemen.
Wat bedrijven nu moeten doen
Organisaties die modellen als GPT-4o, Gemini of Claude via een API gebruiken, blijven zelf verantwoordelijk voor zorgvuldig gebruik. Begin met een risicoanalyse: welke fouten zijn mogelijk, wie loopt schade, en hoe snel kan het escaleren? Leg vast wanneer menselijk ingrijpen verplicht is en hoe een “kill switch” werkt.
Voer capability‑evaluaties uit die passen bij de taak, ook voor agent‑functies en toolgebruik. Beperk toegang tot gevoelige tools, zoals betalingen, code-deploy of massamail. Monitor uitvoer met detecties voor misbruik en houd logs bij, met inachtneming van de AVG.
Vraag leveranciers om duidelijke modelkaarten, testresultaten en incidentprocedures. Controleer licenties en gebruiksvoorwaarden op veiligheidsrestricties en auditmogelijkheden. Plan updates en herbeoordelingen, want modellen en risico’s veranderen snel.
Debat over tempo en toezicht
Het publieke debat draait om de vraag hoeveel risico acceptabel is bij snelle innovatie. Sommigen pleiten voor een pauze bij het trainen van nog grotere modellen. Anderen willen door, maar dan met strengere testnormen en meer transparantie.
Europa kiest voor een risicogestuurde aanpak met de AI Act en het Europese AI Office. Die lijn probeert innovatie mogelijk te houden, maar dwingt veiligheidsmaatregelen af bij krachtige modellen. De uitwerking in nationale handhaving wordt nu cruciaal.
“Meer dan 10 procent kans op menselijk uitsterven door AI” is een niet‑verwaarloosbaar risico en vraagt om toetsbare veiligheidsnormen, onafhankelijke controle en duidelijke noodprocedures.
Voor Nederland betekent dit: tempo maken met toepasbare richtlijnen en praktisch toezicht. Koppel AI‑inkoop en -gebruik aan meetbare veiligheidsdoelen, niet aan beloftes. Zo blijft de belofte van AI bruikbaar, terwijl de zwaarste risico’s worden begrensd.