De CEO van Anthropic, Dario Amodei, waarschuwt dat de ontwikkeling van kunstmatige intelligentie te snel gaat. Hij pleit voor strengere veiligheidsmaatregelen en toezicht, juist nu zijn bedrijf nieuwe, krachtigere modellen uitbrengt. De waarschuwing is relevant voor Europa en Nederland, waar de Europese AI-verordening gevolgen heeft voor overheid en bedrijven. Het doel is duidelijk: tempo houden, maar met harde grenzen voor risicoās.
Anthropic vraagt om rem
Anthropic is een Amerikaanse AI-start-up die op het moment van schrijven wordt geleid door Dario Amodei. Het bedrijf bouwt het Claude-model, een algoritme dat tekst en beelden kan begrijpen en genereren. Amodei stelt dat de sprong in vermogen van deze systemen sneller gaat dan het veiligheidswerk kan bijbenen.
De timing is opvallend, omdat Anthropic tegelijk nieuwe functies en snellere versies lanceert. Dat vergroot de spanning tussen innovatie en beheersing. Het bedrijf wil groei combineren met meer testen en externe controle, bijvoorbeeld via zogeheten model-evaluaties.
Die evaluaties zijn stresstesten die moeten aantonen wat een systeem wel en niet kan. Ze kijken naar misbruik, zoals fraude, manipulatie of hulp bij cyberaanvallen. Amodei pleit voor deze toetsing vĆ³Ć³rdat systemen breed worden uitgerold.
Snellere modellen, hogere risicoās
Anthropic bracht recent de Claude 3-serie uit, waaronder Opus, Sonnet en Haiku, en later Claude 3.5 Sonnet. Dit zijn generatieve modellen: systemen die zelf tekst, code en soms afbeeldingen maken. Ze kunnen langere documenten samenvatten en ingewikkelde vragen beantwoorden.
Met elk nieuw datamodel nemen ook risicoās toe. Zo kunnen de systemen geloofwaardige onwaarheden schrijven, privacygevoelige data lekken of helpen bij geavanceerde phishing. Filters en detectie helpen, maar zijn niet waterdicht.
Voor Europa is dit extra belangrijk, omdat zulke modellen in verschillende sectoren landen. Denk aan klantenservice, onderwijs of interne ondersteuning bij overheden. Juist daar gelden strenge plichten rond transparantie en controle.
EU-wet scherpt eisen aan
De Europese AI-verordening (AI Act) zet het wettelijke kader voor algoritmen in de EU. De wet werkt met risicoklassen en stelt de zwaarste eisen aan hoog-risico-toepassingen, zoals AI in werving, zorg of publiek bestuur. Ook voor algemene AI-modellen, zoals Claude, komen specifieke plichten.
Leveranciers van zulke generieke systemen moeten technische documentatie, veiligheidsmaatregelen en duidelijke informatie aan klanten leveren. Bij zeer krachtige modellen met mogelijk āsystemisch risicoā komen extra eisen, zoals uitgebreide risicobeoordeling, red-teaming (veiligheidstesten) en incidentmelding. Dat raakt bedrijven als Anthropic direct, maar ook Europese afnemers die deze systemen in hun diensten inbouwen.
De AI-wet grijpt in op de praktijk, ook naast de AVG. Denk aan dataminimalisatie (alleen data verzamelen die echt nodig zijn) en het aantoonbaar beschermen van persoonsgegevens. Overheden en bedrijven zullen processen moeten aanpassen, bijvoorbeeld met audittrails en menselijk toezicht.
De Europese AI-verordening deelt AI-toepassingen in vier risicoklassen in: onaanvaardbaar, hoog, beperkt en minimaal. Hoe hoger het risico, hoe strenger de eisen. Bepaalde toepassingen worden verboden; hoog-risico-systemen krijgen uitgebreide verplichtingen.
Gevolgen voor Nederland en EU
Voor Nederlandse overheden betekent dit dat inkoop en gebruik van generatieve systemen aantoonbaar veilig en uitlegbaar moeten zijn. Projecten in gemeenten, uitvoeringsdiensten en onderwijs vallen al snel onder hoog-risico. Zij moeten onder meer testen, documenteren en burgers informeren.
Toezicht komt bij nationale autoriteiten te liggen, die de wet gaan handhaven. In Nederland wordt de precieze taakverdeling tussen toezichthouders op het moment van schrijven uitgewerkt. Organisaties doen er goed aan nu al te werken met interne controlelijsten en onafhankelijke toetsing.
Ook leveranciersrelaties veranderen. Europese afnemers zullen contractueel afdwingen dat aanbieders als Anthropic voldoen aan de AI-wet en de AVG. Dat geldt voor veiligheid, herkomst van trainingsdata en maatregelen tegen misbruik, zoals watermerken voor AI-afbeeldingen.
Veiligheid en tempo blijven botsen
Anthropic profileert zich als een partij die veiligheid centraal zet, onder meer met āConstitutional AIā en een Responsible Scaling Policy. Dat is een aanpak waarbij modellen tegen duidelijke regels en schadelijke uitkomsten worden getraind en getest. Toch blijft het risico bestaan dat commerciĆ«le druk het tempo opjaagt.
De kernvraag is hoe snel āfrontierā-systemen mogen opschalen. Frontier-modellen zijn de krachtigste generatieve systemen die met zeer veel rekenkracht zijn getraind. Ze kunnen nieuwe risicoās veroorzaken die lastiger te meten zijn, zoals geautomatiseerde misleiding of hulp bij het ontwikkelen van malware.
Europese regels maken die afweging concreter. Ze dwingen aanbieders en gebruikers om risicoās eerst te meten en pas daarna op te schalen. Dat sluit aan bij de oproep van Amodei om eerst te remmen en dan te versnellen.
Wat bedrijven nu moeten doen
Organisaties die Claude of vergelijkbare modellen gebruiken, moeten hun risicoklasse bepalen en passende maatregelen nemen. Begin met een dataprotectie-effectbeoordeling, stel duidelijke gebruiksgrenzen in en leg menselijk toezicht vast. Kies leveranciers die transparant zijn over trainingsdata, veiligheidstesten en incidentprocessen.
Werk verder met inhoudslabels en herkomststandaarden, zoals C2PA, om AI-teksten en -beelden herkenbaar te maken. Zorg voor logging, versiebeheer en reproduceerbare beslissingen. Zo kunnen teams achteraf uitleg geven en fouten snel corrigeren.
Tot slot: plan voor strengere audits en rapportages die met de AI-verordening meegroeien. Wie nu al test en documenteert, voorkomt vertraging later. Daarmee wordt het mogelijk om veilig te innoveren, ook als het tempo hoog blijft.