Een internationale groep AI-experts en andere prominenten vraagt deze week om een tijdelijk verbod op de ontwikkeling van ‘superintelligentie’. Het gaat om geavanceerde systemen die de mens op vrijwel alle taken zouden kunnen overtreffen. De oproep is gericht aan regeringen en grote techbedrijven in de Verenigde Staten, het Verenigd Koninkrijk en de Europese Unie. Aanleiding is de vrees voor systeemrisico’s en de vraag hoe dit past binnen de Europese AI-verordening en gevolgen voor overheid en bedrijven.
Groep vraagt tijdelijk verbod
De ondertekenaars willen een moratorium op het bouwen en trainen van modellen die richting superintelligentie gaan. Ze vragen om dit uit voorzorg te doen, totdat veiligheidseisen en toezicht op orde zijn. De oproep richt zich expliciet op ontwikkelaars van zogeheten frontier-modellen, de meest krachtige datamodellen van dit moment.
Superintelligentie is geen bestaand product, maar een doelbeeld in de AI-onderzoeksgemeenschap. Het verwijst naar systemen die mensen in breedte en snelheid van denken voorbijstreven. Bedrijven als OpenAI, Google DeepMind en Anthropic werken aan steeds grotere modellen die in die richting zouden kunnen groeien.
De initiatiefnemers vragen overheden om bindende regels, inclusief vergunningen en limieten op rekenkracht. Rekenkracht is de hardwarecapaciteit die nodig is om een algoritme te trainen. Zij willen ook onafhankelijke audits en duidelijke aansprakelijkheid bij schade.
Genoemde risico’s zijn systemisch
De groep waarschuwt voor systeemrisico’s: problemen die hele sectoren of de samenleving tegelijk kunnen raken. Ze noemen digitale veiligheid, misinformatie en ondermijning van democratische processen. Ook wijzen zij op de concentratie van macht bij enkele techbedrijven.
Een tweede zorg is de beperkte uitlegbaarheid van deze modellen. Veel AI-systemen werken als een ‘black box’, wat betekent dat niet duidelijk is hoe ze tot een uitkomst komen. Dat maakt controle achteraf lastig, zeker als modellen zelf nieuwe vaardigheden ontwikkelen.
Tot slot benoemen de ondertekenaars de zogeheten alignment-vraag: hoe stem je een systeem af op menselijke waarden. Alignment is het proces waarbij je een model begrenst en test, zodat het doet wat mensen willen en niet wat mensen kunnen schaden. Zonder harde remmen kan een fout wereldwijd doorwerken.
“Superintelligentie is een hypothetisch AI-systeem dat de mens op vrijwel alle cognitieve taken overtreft.”
Moratorium vraagt strakke voorwaarden
Het gevraagde moratorium richt zich op het trainen en uitrollen van de krachtigste modellen. Denk aan nieuwe trainingsrondes die boven een afgesproken drempel voor rekenkracht uitkomen. De groep wil voorafgaande evaluaties, vergunningen en publieke risicorapporten.
Zo’n pauze vraagt om meetbare criteria. Een duidelijke drempel maakt controleerbaar wanneer een project wel of niet mag starten. Cloudproviders zouden gebruik boven die drempel moeten melden en registreren.
Daarnaast vragen de initiatiefnemers om standaardmaatregelen zoals red teaming en een ‘kill switch’. Red teaming is een test waarbij onafhankelijke teams proberen een systeem te laten falen. Een kill switch is een technische noodstop die het model direct uitschakelt bij gevaar.
De duur van de pauze is in de oproep niet vastgelegd en draait om voorwaarden, niet om tijd. Het doel is eerst de basis op orde te brengen. Daarna kan gecontroleerde voortgang weer mogelijk zijn.
Europese wet biedt aanknopingspunt
De Europese AI-verordening (AI Act) werkt met risicoklassen en legt verplichtingen op aan aanbieders van risicovolle systemen. Sommige toepassingen worden verboden, zoals ongerichte gezichtsherkenning in de openbare ruimte. Voor hoogrisico-systemen gelden strenge regels voor data, documentatie en toezicht.
De AI Act bevat ook specifieke regels voor algemene AI-modellen (GPAI) en voor modellen met ‘systemisch risico’. Voor die laatste categorie komen extra plichten, zoals beveiligingstests, incidentmeldingen en transparantie over energie- en rekenverbruik. Op het moment van schrijven werkt de Europese Commissie aan uitvoeringsregels en toetsingsmethoden.
De wet treedt gefaseerd in werking tussen 2024 en 2026. Lidstaten moeten nationale toezichthouders aanwijzen en samenwerken met het nieuwe European AI Office. Overheden en bedrijven in Nederland moeten daarom tijdig inschatten wat de Europese AI-verordening gevolgen overheid en bedrijfsleven zijn.
Een tijdelijk verbod op superintelligentie gaat verder dan de AI Act nu biedt. Toch kan de EU via noodprocedures, gedragscodes en toezicht op rekenkracht richting geven. De oproep kan zo dienen als drukmiddel om de uitwerking te versnellen.
Nederland moet toezicht aanscherpen
Voor Nederland rijst de vraag wie straks toezicht houdt op de zwaarste modellen. Op het moment van schrijven is de verdeling van taken nog in beweging. Een combinatie van Autoriteit Persoonsgegevens, de toekomstige AI-toezichthouder en de Rijksinspectie Digitale Infrastructuur ligt voor de hand.
Voor onderzoek en start-ups speelt rekenkracht een praktische rol. Grote trainingsruns kunnen vergunningplichtig worden of in een register terechtkomen. Dat raakt ook nationale voorzieningen zoals SURF en samenwerkingen met Europese supercomputers.
De publieke sector gebruikt steeds vaker algoritmen voor dienstverlening en toezicht. Dan gelden naast de AI Act ook de AVG-regels, zoals dataminimalisatie en versleuteling. Heldere aanbestedingseisen en impactassessments maken die inzet controleerbaar.
Een Nederlandse aanpak kan bestaan uit een veilige testomgeving, een incidentendatabase en verplichte auditpaden voor frontier-modellen. Daarmee blijft innovatie mogelijk, maar met waarborgen. Het verkleint de kans op onverwachte schade in vitale diensten.
Haalbaarheid en reacties verschillen
Voorstanders zien een tijdelijke pauze als noodzakelijk om onomkeerbare fouten te voorkomen. Zij vinden dat regels, audits en aansprakelijkheid eerst geregeld moeten zijn. Daarna kan ontwikkeling weer door, maar onder toezicht.
Tegenstanders vrezen dat een verbod innovatie remt en onderzoek naar minder strenge landen drijft. Ook wijzen zij op de voordelen van open onderzoek en publiek beschikbare modellen. De discussie draait daarom om tempo, toezicht en gelijke internationale spelregels.
Handhaving is een praktische uitdaging. Rekenverbruik is te meten, maar niet elk project is zichtbaar. Controle vraagt daarom samenwerking tussen cloudaanbieders, toezichthouders en onderzoekers.
Internationaal groeit de basis voor afspraken, met onder meer de G7, de OESO en het European AI Office. Het Verenigd Koninkrijk organiseerde een AI Safety Summit, en de VS stelden eisen aan rapportage over trainingsruns. De EU kan dit koppelen aan haar wet, zodat doelen en toezicht beter op elkaar aansluiten.
