Paus Franciscus roept deze week op tot strenge regels voor kunstmatige intelligentie en waarschuwt voor militarisering van algoritmen. In een toespraak aan wereldleiders en technologiebedrijven vroeg hij om menselijk toezicht en duidelijke grenzen. Hij wil misbruik voorkomen en de menselijke waardigheid beschermen. De oproep komt op het moment dat Europa de AI-verordening invoert en landen AI steeds vaker in defensie inzetten.
Paus vraagt om AI-regels
De paus vraagt om regels die veiligheid, transparantie en verantwoordelijkheid afdwingen. Hij wil dat mensen, niet machines, de laatste beslissing nemen bij hoog-risico-toepassingen. Hoog-risico betekent hier: systemen die grote invloed hebben op leven, gezondheid of rechten. Dat geldt bijvoorbeeld voor medische beslisondersteuning en systemen in de luchtvaart.
Franciscus benadrukt dat kunstmatige intelligentie het algemeen belang moet dienen. Volgens hem mag winst of snelheid nooit zwaarder wegen dan mensenrechten. Hij ziet een taak voor regeringen, techbedrijven en wetenschappers samen. Het doel is duidelijke normen voordat schadelijk gebruik zich vastzet.
De oproep richt zich ook tot grote ontwikkelaars van algemene modellen. Dit zijn brede datamodellen, zoals Gemini van Google en GPT-4o van OpenAI, die veel taken kunnen. Zulke modellen vinden snel hun weg naar sectoren als zorg, onderwijs en defensie. Juist daarom zijn basisregels en onafhankelijke controles nodig.
Waarschuwing voor wapenisering
De paus waarschuwt voor militarisering: het inzetten van algoritmen voor verkenning, doelkeuze en wapens. Autonome wapensystemen, vaak LAWS genoemd, kunnen zonder direct menselijk ingrijpen dodelijke beslissingen nemen. Dat vergroot het risico op fouten, escalatie en schendingen van het oorlogsrecht. Het maakt oorlog ook goedkoper en sneller, wat de drempel kan verlagen.
In de Verenigde Naties wordt al jaren gepraat over regels voor autonome wapens. Er is nog geen wereldwijd akkoord. Ondertussen testen meerdere landen AI-gestuurde drones en beslisondersteuning in commandoketens. Dat creëert een gat tussen techniek en internationaal recht.
Definitie: militarisering van AI is het gebruiken van algoritmen voor detectie, dreigingsinschatting, besluitvorming en wapengeweld, soms zonder menselijk toezicht.
Ook buiten directe gevechten groeit het risico. Denk aan cyberoperaties en informatieoorlogvoering met deepfakes. Zulke systemen kunnen burgers misleiden en verkiezingen verstoren. De paus pleit daarom voor weerbaarheid en duidelijke rode lijnen.
Aansluiting bij Europese AI-verordening
De oproep past deels bij de Europese AI-verordening (AI Act). Die wet verdeelt systemen in risicoklassen en stelt strengere eisen naarmate het risico toeneemt. Er zijn verboden praktijken, zoals sociale scoring door overheden. Voor algemene AI-modellen gelden transparantieplichten, zoals een samenvatting van gebruikte trainingsdata.
Belangrijk detail: militaire toepassingen vallen buiten de AI Act. Dat betekent dat regels voor defensie vooral via andere kaders moeten komen. Denk aan het humanitair oorlogsrecht, NAVO-richtlijnen en nationale beleidscodes. Voor dual-use onderdelen, zoals sensoren of generieke software, kunnen EU-regels wel gelden.
De invoering loopt stapsgewijs. Verboden praktijken gelden sinds 2025, algemene modelplichten sinds 2025 en veel hoog-risico-eisen in 2026–2027, op het moment van schrijven. Bedrijven moeten risicoanalyses, logging en menselijk toezicht regelen. Toezichthouders in EU-landen bouwen capaciteit op voor handhaving.
Voor privacy blijft de AVG leidend. Dataminimalisatie, doelbinding en beveiliging zijn verplicht bij het verwerken van persoonsgegevens. Dit is relevant voor trainingsdata, testsets en operationeel gebruik. Encryptie en auditbare logbestanden helpen om compliance aantoonbaar te maken.
Praktische gevolgen voor Nederland
Voor Nederland raakt de oproep direct aan defensie en veiligheid. Het ministerie van Defensie verkent AI voor verkenning, onderhoud en besluitvorming. TNO en kennisinstellingen testen algoritmen in gesimuleerde omgevingen. Daarbij gelden principes als mens-in-de-lus: een mens grijpt in of neemt de eindbeslissing.
Nederland onderschreef de Politieke Verklaring over verantwoordelijk militair gebruik van AI en autonomie. Die vraagt om strikte testen, data-kwaliteit en operationele waarborgen. Ook beveelt zij training voor militairen en duidelijke aansprakelijkheid aan. Dit sluit aan bij de zorgen die de paus nu opnieuw uitspreekt.
Publieke diensten krijgen daarnaast te maken met de AI Act. Overheden die algoritmen inkopen moeten risicobeoordelingen en impactanalyses doen. Dat geldt ook voor grenscontroles, slimme camera’s en wervingstools. Transparantie richting burgers en bezwaarprocedures worden dan verplicht.
Voor de Nederlandse techsector betekent dit meer documentatie en onafhankelijke testen. Leveranciers van algemene modellen, zoals Microsoft met Azure AI, moeten risico’s op misbruik beperken. Denk aan inhoudsfilters, misbruikdetectie en incidentmeldingen. Zonder deze maatregelen wordt toegang tot de EU-markt lastiger.
Menselijk toezicht en transparantie
De kern van de oproep is menselijk toezicht, vooral bij leven-en-dood-besluiten. Ontwerpkeuzes moeten fouten zichtbaar maken en corrigeren. Dat vraagt om heldere rollen, escalatieroutes en noodstops. En om training zodat operators weten wat een model wel en niet kan.
Transparantie begint met begrijpelijke uitleg. Een modelkaart beschrijft doel, data, beperkingen en bekende risico’s in eenvoudige taal. Publieke instanties kunnen daarnaast uitleggen welke algoritmen zij gebruiken en waarom. Dit vergroot vertrouwen en maakt democratische controle mogelijk.
Technische maatregelen blijven nodig. Red-teaming test modellen op misbruik en vooringenomenheid. Logging en evaluatiesets volgen prestaties door de tijd. Zo wordt zichtbaar of een systeem onder stress faalt of ongewenst gedrag vertoont.
Tot slot vraagt militarisering om politieke keuzes. Wetgevers kunnen rode lijnen trekken, bijvoorbeeld tegen volledig autonome dodelijke wapens. Internationale afspraken verminderen het risico op een wapenwedloop. Daarmee sluiten zij aan bij de morele inzet die de paus nu vraagt.