Paus Leo XIV presenteerde deze week in Vaticaanstad zijn eerste encycliek over kunstmatige intelligentie. Hij vraagt om het “ontwapenen” van AI, met duidelijke grenzen aan wapentoepassingen en misbruik. De tekst plaatst menselijke waardigheid centraal en roept overheden en bedrijven tot actie. Dit debat raakt direct aan de Europese AI-verordening en de gevolgen voor de overheid, bedrijven en burgers.
Paus vraagt AI-ontwapening
De paus legt de nadruk op het terugdringen van risico’s van algoritmen die mensen kunnen schaden. Met “ontwapenen” bedoelt hij het beperken van inzet als wapen of machtsmiddel, bijvoorbeeld in oorlog, massale manipulatie of toezicht. Hij vraagt om duidelijke regels, toetsing en ingrijpen waar systemen te ver gaan. Het morele uitgangspunt is: technologie moet het menselijk leven dienen, niet bedreigen.
“AI moet ontwapend worden.”
Een encycliek is een pauselijke tekst met morele richtlijnen voor kerk en samenleving. Dit is de eerste van Leo XIV en richt zich opvallend expliciet op digitale risico’s. De boodschap is breder dan religie: ook beleidsmakers, onderzoekers en techbedrijven worden aangesproken. Zo wil de paus het publieke gesprek over veilig en menswaardig gebruik van AI versnellen.
De oproep past in een mondiale discussie over macht van datamodellen en de noodzaak van toezicht. Europa werkt aan uitvoer van de AI-verordening (AI Act) met plichten voor risicovolle systemen. Ook in Nederland groeit de aandacht voor uitlegbaarheid, audit en verantwoordelijkheid. De pauselijke inzet voegt daar een helder ethisch kader aan toe.
Focus op menselijk toezicht
Centraal staat menselijk toezicht: een mens moet kunnen ingrijpen bij belangrijke beslissingen van een systeem. Dat geldt extra bij selectie voor werk, krediet, uitkeringen of zorg. Zonder effectief toezicht kunnen fouten van algoritmen grote schade veroorzaken. Heldere grenzen en noodstops zijn daarom nodig.
De Europese AI-verordening verplicht voor “hoog risico”-systemen onder meer risicobeheer, kwaliteitsdata, logboeken en menselijke controle. Dit raakt publieke diensten, zoals gemeenten die algoritmen inzetten voor toezicht of toekenning. Instellingen moeten documenteren hoe het systeem werkt en besluiten worden genomen. Ook komen hoogrisicosystemen in een EU-database voor transparantie.
Grote modelmakers als OpenAI (GPT-4o), Google (Gemini) en Meta (Llama 3) vallen onder extra plichten als hun systemen “systemisch risico” hebben. Dat kan leiden tot beveiligingstests, incidentmeldingen en mitigatieplannen. Voor Nederlandse afnemers betekent dit scherper contracteren, onafhankelijke audits en exit-opties. Op het moment van schrijven worden deze verplichtingen stapsgewijs ingevoerd tot en met 2027.
Militaire inzet ter discussie
Een heet hangijzer is inzet van zogenoemde “lethal autonomous weapons systems” (LAWS). Dat zijn wapens die doelen kunnen selecteren en aanvallen zonder directe menselijke sturing. De oproep tot “ontwapening” doelt mede op het terugdringen of verbieden van zulke systemen. Het gaat om zowel export, ontwikkeling als testpraktijken.
EU-lidstaten bepleiten in de VN al langere tijd strenge waarborgen en menselijke controle. Nederland steunt het principe van “meaningful human control” bij wapeninzet. Tegelijk sluit de Europese AI-verordening defensietoepassingen grotendeels uit van haar werkingssfeer. Daardoor zijn aanvullende afspraken en militair-ethische kaders nodig naast civiele wetgeving.
Europese defensiebedrijven zoals Airbus en Thales ontwikkelen steeds meer softwaregedreven systemen. Zonder duidelijke regels kan de grens tussen hulpsoftware en autonome wapens vervagen. De pauselijke oproep versterkt de druk op transparantie en toetsing. Dat kan door onafhankelijke tests, certificering en internationale afspraken.
Privacy, bias en misbruik
De encycliek waarschuwt ook voor misbruik van data en sturende algoritmen in het dagelijks leven. Denk aan profilering, desinformatie en oneerlijke selectie. De AVG verlangt dataminimalisatie, doelbinding en goede beveiliging. Wie data verwerkt, moet kunnen uitleggen waarom en hoe.
Grote taalmodellen zoals GPT-4o, Gemini en Llama 3 worden getraind op enorme datasets. Dat roept vragen op over herkomst, toestemming en vooroordelen in data. Burgers hebben rechten op inzage, correctie en bezwaar. Toezichthouders zoals de Autoriteit Persoonsgegevens kunnen ingrijpen bij overtredingen.
De paus legt de norm bij menselijke waardigheid en rechtvaardigheid. Dat sluit aan bij Europese plichten voor uitlegbaarheid en kwaliteitsborging. Organisaties moeten biases opsporen en verminderen met tests en diverse datasets. Zonder dit kan geautomatiseerde besluitvorming groepen stelselmatig benadelen.
Gevolgen voor beleid en overheid
Voor overheden betekent dit concreet: pas zorgvuldigheid toe bij inkoop en gebruik van AI. De Europese AI-verordening gevolgen overheid zijn onder meer registers, DPIA’s en meldplichten bij incidenten. Ook moeten burgers kunnen begrijpen hoe een systeem tot een uitkomst komt. Uitleg in gewone taal wordt de norm, niet de uitzondering.
In Nederland is de Impact Assessment Mensenrechten en Algoritmen (IAMA) een praktische leidraad. Die helpt om risico’s voor grondrechten vooraf in kaart te brengen. Gemeenten en uitvoeringsorganisaties gebruiken daarnaast audit- en loggingeisen. Zo sluit beleid beter aan op de nieuwe Europese normen.
Standaarden van CEN-CENELEC en ISO geven technische invulling aan de wet. Denk aan testmethoden, datakwaliteit en robuustheid. Op het moment van schrijven werken organisaties aan voorbereidingen om compliant te zijn. Dat vraagt samenwerking tussen juristen, inkopers, ontwikkelaars en ethici.
Dialoog met techsector
De paus nodigt expliciet uit tot gesprek met wetenschap en industrie. De Heilige Stoel werkte eerder mee aan de Rome Call for AI Ethics, met steun van IBM en Microsoft. De kern is mensgerichte innovatie met duidelijke begrenzing van risico’s. Die lijn wordt nu doorgetrokken naar beleid en praktijk.
Techbedrijven als OpenAI, Google DeepMind en Anthropic praten in Europa mee over gedragscodes voor generatieve AI. De AI-verordening voorziet in codes van goede praktijk voor modelleveranciers. Zo kunnen veiligheidsmaatregelen sneller worden getest en opgeschaald. Het morele appel vergroot de druk om beloften om te zetten in aantoonbare waarborgen.
Voor burgers en instellingen is het resultaat idealiter meer betrouwbaarheid en keuzevrijheid. Overheden en scholen kunnen eisen stellen aan transparantie en dataopslag. Zorginstellingen krijgen duidelijker kaders voor inzet van beslissingsondersteuning. Zo wordt de belofte van AI gekoppeld aan duidelijke grenzen en menselijk toezicht.