Deskundigen waarschuwen dat een AI-voorspelling nooit een feit is, maar een verkapt bevel dat gedrag stuurt. Die waarschuwing staat centraal in het Nederlandse debat over algoritmen in overheid en bedrijfsleven. Het thema is urgent nu in Europa de AI-verordening gefaseerd ingaat en instanties meer met risicoscores werken. De kernvraag: wie beslist er echt, mens of model?
Voorspelling stuurt menselijk handelen
Een voorspellend algoritme lijkt neutraal, maar zet mensen aan tot actie. Een hoge risicoscore leidt vaker tot extra controles, extra patrouilles of een afwijzing. Zo verandert de voorspelling de werkelijkheid die zij zegt te beschrijven. Dit onderscheid is essentieel voor politiek, recht en toezicht.
In de praktijk krijgt een model uit systemen als een risicocalculator of een beslisboom vaak het laatste woord. Medewerkers ervaren druk om het advies te volgen, ook als het twijfelachtig voelt. Dat heet automatiseringsbias: mensen vertrouwen een uitkomst omdat die van een computer komt. Het resultaat is dat beleid verschuift zonder democratisch debat.
Voorbeelden zijn talig en cijfermatig. Van kredietscores in de financiële sector tot risicomodellen bij sollicitaties en verzekeringen. Ook in de publieke sector sturen systemen inzet van schaarse middelen. Daarmee ontstaat machtsconcentratie in datamodellen die zelden publiek controleerbaar zijn.
“Een voorspelling lijkt op een feit, maar werkt als een opdracht: ze bepaalt wie aandacht krijgt, wie wordt overgeslagen en waar middelen naartoe gaan.”
Beslissen schuift naar datamodellen
Voorspellende systemen geven richting aan werkprocessen. In werving en selectie sturen tools zoals geautomatiseerde cv-screens en videogesprekken de rangorde van kandidaten. Bij verzekeraars en banken bepalen modellen welke klanten extra vragen krijgen of een hogere premie. Elke stap volgt uit een score, niet uit een vastgesteld feit.
In de openbare orde werkt dit net zo. Het Criminaliteits Anticipatie Systeem (CAS) van de Nederlandse politie gebruikt gegevens om hotspots aan te wijzen. Meer patrouilles op zo’n plek leveren vaker incidentmeldingen op. Daardoor “bevestigt” het model zichzelf en groeit de sturende werking.
Ook bij fraudebestrijding speelt dit. Systemen die burgers rangschikken op risico leiden tot meer controles in bepaalde wijken of groepen. Zo wordt een score een filter op publieke dienstverlening. Zonder sterke tegenkracht kan dit juridische gelijkheid uithollen.
AI-verordening dwingt overheidstoezicht
De Europese AI-verordening (AI Act) zet voorspellende systemen in domeinen als rechtshandhaving, werk, krediet en publieke diensten in de hoge-risico klasse. Dat betekent verplichte risicobeheersing, datagovernance, testplannen en menselijke controle. Bepaalde praktijken, zoals sociaal scoren door overheden, zijn verboden. Voor politiegebruik gelden extra waarborgen en beperkingen.
De AVG blijft leidend bij persoonsgegevens. Organisaties moeten dataminimalisatie toepassen en kunnen een Data Protection Impact Assessment (DPIA) nodig hebben. Burgers hebben recht op informatie over de logica achter geautomatiseerde verwerking en op het aanvechten van besluiten. Dit raakt direct aan situaties waarin een model feitelijk de dienst uitmaakt.
Toezichthouders zullen op het moment van schrijven strenger kijken naar “menselijke tussenkomst”. Alleen een handtekening zetten is niet genoeg. Er moet sprake zijn van inhoudelijke, tijdige en deskundige controle, met ruimte om het modeladvies te negeren. Dat voorkomt dat een voorspelling een onzichtbare norm wordt.
Nederlandse praktijk en rechtszaken
Nederland kent lessen uit rechtszaken en evaluaties. De rechtbank Den Haag verklaarde de inzet van SyRI in 2020 in strijd met het recht op privéleven en de mensenrechten. De Toeslagenaffaire liet zien hoe risicomodellen tot systematische uitsluiting kunnen leiden. Beide dossiers tonen wat er misgaat als scores leidend worden zonder transparantie en bezwaar.
Gemeenten en ministeries bouwen daarom registers met algoritmen, zoals Amsterdam en Rotterdam. Die lijsten maken zichtbaar waar modellen beslissingen ondersteunen. Het geeft raadsleden, journalisten en burgers een startpunt voor controle. Maar openheid alleen voorkomt nog geen sturende effecten.
Ook bij de politie staat evaluatie centraal. Hotspot-algoritmen zoals CAS worden getoetst op effect en bias. Belangrijk is om terugkoppeling niet alleen te baseren op meer registraties, maar op onafhankelijke metingen van veiligheid en rechtsgelijkheid. Anders versterkt het systeem zijn eigen aannames.
Transparantie en weerwoord ontbreken vaak
Veel organisaties kunnen niet eenvoudig uitleggen hoe een score tot stand komt. Complexe modellen, zoals neurale netwerken, zijn lastig te doorgronden. Toch vraagt de wet om “uitlegbaar genoeg” voor de gebruiker en de burger die het raakt. Zonder begrijpelijke uitleg is effectief bezwaar maken bijna onmogelijk.
Registreren wie, wanneer en waarom een modeladvies volgt is een praktische stap. Zulke logbestanden maken controle achteraf mogelijk. Ze helpen ook om automatiseringsbias te vinden: als niemand ooit afwijkt van het advies, is menselijk toezicht vermoedelijk fictief. Dat is juridisch en maatschappelijk risicovol.
Belangrijk is ook het beperken van terugkoppelingslussen. Als een politiepatrouille alleen naar voorspelde hotspots gaat, ontbreken signalen van elders. Door steekproeven en rotaties in te bouwen, blijft het beeld breder. Zo verklein je de kans dat een voorspelling zichzelf waarmaakt.
Zo verklein je sturingsrisico’s
Begin met duidelijke doelen die je publiek kunt verantwoorden. Formuleer wat succes is in gewone taal en hoe je dat meet, los van het model. Leg drempels vast: wanneer volgt iemand het advies wél of juist niet? En maak afwijken van het model normaal, niet uitzonderlijk.
Voer voor hoge-risico systemen een DPIA en een fundamentele rechten-toets uit. Test vooraf op bias en op sturende neveneffecten, bijvoorbeeld via A/B-tests en gecontroleerde pilots. Betrek juristen, datawetenschappers en uitvoerders vroeg én samen. Documenteer aannames, datasets en beperkingen helder.
Tot slot: organiseer tegenmacht. Publiceer in een algoritmeregister, bied laagdrempelig bezwaar, en laat externe auditors periodiek meekijken. Gebruik de verplichtingen uit de AI-verordening en de AVG als ondergrens, niet als ambitie. Zo blijft een voorspelling een hulpmiddel, geen stil bevel.