De Nederlandse jurist Ilona van de Kooi legt uit waarom instellingen zelf verantwoordelijk blijven voor inzet van kunstmatige intelligentie in het recht. Het gaat om rechtbanken, overheden en advocatenkantoren in Nederland en Europa. Dit raakt aan de Europese AI-verordening en de gevolgen voor overheid en rechtspraak. De kern: een “black box” mag geen excuus zijn voor fouten of gebrek aan uitleg.
Instelling blijft aansprakelijk
Wie een AI-systeem inzet, blijft eindverantwoordelijk voor het resultaat. Dat geldt voor ministeries, toezichthouders, gemeenten en ook voor advocatenkantoren. Zij kunnen zich niet verschuilen achter leveranciers of technische beperkingen. In het recht weegt die plicht extra zwaar door de impact op burgers en bedrijven.
De Europese AI-verordening (AI Act) verdeelt taken tussen ontwikkelaars en gebruikers. Maar de gebruiker, in EU-termen de “deployer”, moet risico’s kennen en beheersen. Denk aan toetsing, loggen, menselijke controle en training van medewerkers. Zonder deze basisstappen is verantwoord gebruik niet mogelijk.
Voor Nederlandse publieke instellingen sluit dit aan op bestaande regels. De Algemene verordening gegevensbescherming (AVG) vraagt om dataminimalisatie en duidelijkheid voor betrokkenen. Ook gelden inkoop- en archiefplichten, en bij gevoelige algoritmen vaak een gegevensbeschermingseffectbeoordeling (DPIA). Deze kaders maken de bestuurlijke verantwoordelijkheid concreet.
Black-box schaadt uitlegbaarheid
Veel moderne taalmodellen, zoals GPT-4, Claude 3 en Gemini, werken probabilistisch. Ze voorspellen het volgende woord op basis van grote hoeveelheden tekst. Dat levert bruikbare concepten op, maar ook fouten en verzinsels, vaak “hallucinaties” genoemd. Juist in de juridische praktijk is dit risicovol.
Een black box is een systeem waarvan de interne werking niet zichtbaar is, terwijl de uitkomst wel grote gevolgen kan hebben.
Een onverklaarde uitkomst is moeilijk te controleren of aan te vechten. Uitlegbaarheid is in het recht niet optioneel, maar essentieel voor hoor en wederhoor. Instellingen moeten daarom kiezen voor functies die toelichten welke bronnen zijn gebruikt, of die aantonen hoe een conclusie tot stand kwam. Zonder die functies hoort het systeem niet in een beslisproces thuis.
Wereldwijd testen kantoren tools zoals Harvey AI, Lexis+ AI en CoCounsel. Deze draaien vaak op generatieve modellen zoals GPT-4. Zulke systemen kunnen helpen bij zoeken, samenvatten en concepten maken. Maar ze moeten altijd onder toezicht staan, met verplichte broncontrole en dossiervorming.
AVG en geheimhouding knellen
Juridische data zijn vaak persoonlijk en vertrouwelijk. De AVG eist dat organisaties zo min mogelijk data delen en alleen met goede beveiliging. Onversleuteld plakken van cliëntdata in een cloudchat kan dus onrechtmatig zijn. Ook kan het botsen met het beroepsgeheim van advocaten en notarissen.
Organisaties hebben daarom verwerkersovereenkomsten, logging en duidelijke bewaartermijnen nodig. EU-dataclassificatie en -lokalisatie kunnen helpen, net als versleuteling en pseudonimisering. Sommige aanbieders, zoals Azure OpenAI of Europa-gehoste modellen van Mistral en Aleph Alpha, bieden opties voor dataminimalisatie en regionale opslag. Maar de verantwoordelijkheid voor juiste instellingen ligt bij de gebruiker.
Voor zeer gevoelige dossiers kan een lokaal model, bijvoorbeeld Llama 3 in een afgeschermde omgeving, beter passen. Dan blijven gegevens binnen de eigen infrastructuur. De keerzijde is meer eigen beheer en kosten. Die keuze hoort in een risicoafweging en DPIA te worden vastgelegd.
AI-verordening eist governance
De AI-verordening werkt gefaseerd in. Verboden toepassingen gelden als eerste, daarna volgen regels voor krachtige generatieve modellen en hoogrisico-toepassingen. AI voor de rechtsbedeling en wetstoepassing valt in principe in de hoogrisicoklasse. Dan zijn risicobeheer, documentatie, menselijke controle en kwaliteitsmanagement verplicht.
Grote generatieve modellen (GPAI) krijgen aparte plichten, zoals veiligheidsdocumentatie en rapportage over trainingsdata. Leveranciers moeten die informatie delen, maar instellingen moeten nagaan of die voldoende is. Zonder bruikbare technische en juridische documentatie is inzet onverstandig. Contracten moeten dit expliciet regelen.
Voor Nederlandse overheden komen hier nationale regels bij, zoals openbaarheid en archivering. Besluitvorming met algoritmen moet herleidbaar zijn. Burgers moeten bezwaar kunnen maken en een mens moet kunnen ingrijpen. Dit vraagt om duidelijke processen, niet alleen om nieuwe software.
Praktische stappen voor kantoren
Begin met een gebruikskaart: waarvoor mag het systeem wel en niet worden ingezet. Scheid conceptwerk van juridische beoordeling. Leg vast dat een mens altijd de eindcontrole doet. En train medewerkers op risico’s, inclusief hallucinaties en broncontrole.
Voer voor elk gebruik een DPIA of lichte risicotoets uit. Documenteer prompts, bronnen en keuzes. Houd een logboek bij voor audit en bezwaar. Maak in cliëntcommunicatie helder wanneer AI is gebruikt en hoe controle plaatsvond.
Test systemen vooraf met realistische casussen, inclusief randgevallen. Laat een multidisciplinair team meekijken: jurist, privacy officer, security en IT. Meet fouttypen, niet alleen gemiddelde prestaties. Stop of pas aan als uitlegbaarheid of dataveiligheid tekortschiet.
Transparantie via aanbestedingseisen
Veel risico’s zijn te beperken bij inkoop. Eis model- en systeemkaarten met uitleg over trainingsdata, bekende beperkingen en evaluaties. Vraag om auditrechten, red-teamresultaten en incidentmeldingen. En leg sancties vast als afspraken niet worden nagekomen.
Voor publieke instellingen hoort een algoritmeregister en actieve openbaarheid bij de standaard. Beschrijf doel, data, risico’s en controles in begrijpelijke taal. Verwijs naar de toepasselijke AI-risicoklasse en AVG-grondslag. Zo wordt verantwoording geen naleesstuk, maar een werkend mechanisme.
De boodschap van Ilona van de Kooi is daarmee praktisch: techniek kan helpen, maar bestuur en proces bepalen de kwaliteit. Instellingen die nu governance op orde brengen, lopen straks minder vast in toezicht en rechtszaken. En ze winnen vertrouwen bij burgers en cliënten. Dat is nodig nu AI dieper in de juridische praktijk doordringt.