AI-bedrijven weten onvoldoende hoe ze moeten voorkomen dat hun systemen doelen nastreven die ontwikkelaars niet hebben meegegeven. Dat stelt klokkenluider Jacob Coxon, die eerder bij OpenAI en Anthropic werkte. Tijdens een hoorzitting in New York beschuldigde hij de sector van roekeloosheid.
“Gezien wat er op het spel staat, zijn bedrijven bijzonder roekeloos bezig”, zei de Britse onderzoeker.
Waar waarschuwt Coxon voor?
Zijn zorgen gaan over AI-systemen die doelen ontwikkelen buiten de bedoeling van hun makers. Volgens Coxon ontbreken voldoende waarborgen om te voorkomen dat systemen vervolgens naar die doelen handelen.
Dat is een verdergaande waarschuwing dan die over een chatbot die een verkeerd antwoord geeft. Coxon spreekt over het risico dat mensen de controle over krachtige AI verliezen. Hij erkent dat AI grote voordelen kan bieden, maar vreest op de huidige koers zelfs gevolgen voor het voortbestaan van de mens. Dat is zijn inschatting, geen vastgestelde voorspelling.
Waarom vertrok hij bij Anthropic?
Coxon publiceerde begin september op X een verklaring over zijn vertrek bij Anthropic. Daarin stelde hij dat ontwikkelaars zelf rekening houden met de mogelijkheid dat AI vóór het einde van dit decennium catastrofale gevolgen heeft.
Tijdens de hoorzitting bekritiseerde hij ook de werkwijze van techbedrijven: snel ontwikkelen en problemen achteraf repareren. Volgens hem past die aanpak niet bij technologie met zulke grote mogelijke gevolgen.
Zijn uitspraken sluiten aan op het bredere debat over veiligheidsmaatregelen bij OpenAI, Google en Anthropic.
Onze kijk: vraag om aantoonbare waarborgen
De waarschuwing verdient aandacht vanwege Coxons werkervaring bij twee belangrijke AI-ontwikkelaars. Tegelijk bewijst zijn getuigenis op zichzelf niet dat bedrijven de controle over al hun modellen kwijt zijn.
Voor Nederlandse organisaties die AI inzetten, zien wij vooral een praktische vraag: welke bevoegdheden geef je een systeem, wie controleert het gedrag en wanneer kan iemand ingrijpen? Hoe meer handelingen AI zelfstandig mag uitvoeren, hoe belangrijker die afspraken worden.
Het debat zou daarom ook moeten gaan over aantoonbare veiligheidsmaatregelen. Welke risico’s zijn getest, welke beperkingen gelden en wie is verantwoordelijk als een systeem buiten de afgesproken grenzen handelt?