Anthropic-ceo Dario Amodei waarschuwt opnieuw voor risico’s van krachtige AI-systemen. Hij pleit voor strengere tests en duidelijke grenzen bij zogeheten frontier-modellen. De boodschap is relevant voor Europa, waar de AI-verordening (AI Act) op het punt staat te gaan gelden en overheden zich afvragen: Europese AI-verordening gevolgen overheid? Op het moment van schrijven groeit Anthropic met zijn Claude-modellen in de EU-markt, wat de discussie extra lading geeft.
Amodei zet risico’s centraal
Amodei stelt dat snelle sprongen in het vermogen van generatieve AI nieuwe gevaren meebrengen. Het gaat om misbruik bij cyberaanvallen, desinformatie en bioveiligheid. Anthropic noemt deze categorie “frontier-modellen”, de meest geavanceerde datamodellen die onverwacht gedrag kunnen vertonen.
Het bedrijf publiceert daarvoor een Responsible Scaling Policy. Dat is een interne set regels met testdrempels, noodremmen en externe audits wanneer modellen te krachtig worden. Zulke procedures moeten voorkomen dat een algoritme taken leert die het bedrijf nog niet veilig kan begrenzen.
De waarschuwingen vallen samen met de snelle uitrol van Anthropic’s Claude-serie, zoals Claude 3 Opus en Claude 3.5 Sonnet. Deze modellen zijn beschikbaar via clouddiensten en in tools zoals Claude.ai. Hoe sterker de modellen, hoe urgenter de vraag welke functies standaard aan of uit staan.
Frontier-modellen zijn AI-systemen die op of boven het huidige topniveau presteren en daardoor nieuwe, moeilijk te voorspellen risico’s kunnen veroorzaken.
Veiligheid als verkoopargument
De risicotaal heeft ook een commercieel effect. Grote klanten in financiën, overheid en zorg verlangen heldere garanties over betrouwbaarheid en controle. Een streng veiligheidskader helpt vertrouwen te winnen in aanbestedingen en pilots.
Anthropic haalt inkomsten uit toegang tot Claude en uit integraties via cloudaanbieders. Het bedrijf werkt met partners zoals Amazon Web Services, waar Claude via Bedrock te gebruiken is. Zo’n enterprise-kanaal vraagt om aantoonbare beveiliging, logging en ondersteuning van compliance.
Dat verklaart de dubbele boodschap: waarschuwen en tegelijk groeien. Dezelfde normen die risico’s beperken, verlagen ook de drempel voor zakelijke adoptie. Voor critici blijft de vraag of het accent op gevaar vooral principieel is, of ook slim positioneren tegenover concurrenten als OpenAI en Google.
AI Act dwingt toetsing af
De Europese AI-verordening introduceert regels voor algemene AI-modellen (GPAI) en een aparte categorie met systemisch risico. Aanbieders moeten technische documentatie, robuustheidstesten en risicobeperking kunnen aantonen. Ook zijn er plichten rond incidentmelding en energie-informatie.
Voor frontier-modellen betekent dit voorafgaande evaluatie, red-teaming en transparantie over beperkingen. Dat sluit aan bij wat Anthropic al aankondigt met zijn Responsible Scaling Policy. Het verschil: in Europa wordt dit niet vrijblijvend, maar juridisch afdwingbaar.
Overheden en publieke instellingen krijgen hiermee handvatten bij inkoop. Zij kunnen eisen dat leveranciers voldoen aan de AI Act en aan de AVG, zoals dataminimalisatie en goede versleuteling. De komende implementatiejaren (vanaf 2025–2026) worden bepalend voor hoe streng deze regels in de praktijk uitpakken.
Risico’s lastig te meten
Het beoordelen van gevaren bij frontier-modellen is technisch moeilijk. Capaciteiten groeien vaak niet lineair, waardoor tests sommige doorbraken missen. Interpretatie van modeluitvoer blijft onzeker, zeker bij generatieve systemen met veel context.
Red-teaming en evals geven slechts een momentopname. Een model dat vandaag veilig lijkt, kan door nieuwe prompttechnieken anders reageren. Daarom pleiten onderzoekers voor continu testen en voor sandboxing van risicovolle functies.
Ook het afknijpen van vermogen kent grenzen. Te strenge filters verlagen bruikbaarheid, te losse instellingen vergroten risico’s. Bedrijven balanceren dus tussen precisie, veiligheid en marktverwachtingen.
Impact voor Nederland en EU
Nederlandse overheden en zorginstellingen moeten scherp inkopen. Vraag naar concrete veiligheidsrapporten, onafhankelijke audits en incidentprocedures. Leg vast hoe een leverancier updates en regressies in het model beheerst.
Voor privacy geldt de AVG: verwerk zo min mogelijk persoonsgegevens, versleutel data en voorkom onnodige doorgifte buiten de EU. Controleer of de aanbieder trainingsdata en klantdata scheidt, en of gegevens niet worden hergebruikt voor het trainen zonder toestemming. Dit is extra relevant bij cloudgebruik en integratie met bestaande systemen.
Voor bedrijven betekent de AI Act dat compliance onderdeel wordt van productontwikkeling. Leveranciers zoals Anthropic, OpenAI en Google zullen meer technische details moeten delen over evaluaties en beperkingen. Dat maakt de waarschuwingen van Amodei niet alleen een ethisch standpunt, maar ook een voorbode van wat in Europa verplicht wordt.
Tussen inhoud en strategie
De kern: Amodei’s risicowijziging past bij een reëel technisch vraagstuk én bij marktdruk. Frontier-modellen worden krachtiger, terwijl wetten als de AI Act transparantie eisen. Dat dwingt tot volwassen productbeheer.
Voor gebruikers in Europa is het goed nieuws dat deze discussie nu al wordt gevoerd. Het verkleint de kans dat krachtige algoritmen zonder rem in publieke diensten belanden. Tegelijk blijft waakzaamheid nodig: goede bedoelingen zijn pas geloofwaardig met toetsbare resultaten en openheid over fouten.
De komende maanden zal blijken of leveranciers die beloftes waarmaken. Helderheid over tests, beperkingen en incidenten wordt een onderscheidende factor. Dat bepaalt of de Europese uitrol van modellen zoals Claude duurzaam, veilig en nuttig is.