In Nederland waarschuwt een nieuw persoonlijk verslag voor levensgevaar door fout advies van een AI-functie in een alledaagse app. De gebruiker vertrouwde het systeem, waarna een reeks verkeerde aanwijzingen bijna fataal afliep. Het incident speelde zich onlangs af en zet de discussie over veiligheid en verantwoordelijkheid rond AI op scherp. Het raakt ook grote aanbieders van systemen zoals ChatGPT van OpenAI, Google Gemini en Apple Siri, en valt onder de Europese AI-verordening.
Incident legt risico’s bloot
Het kernprobleem is blind vertrouwen in een systeem dat geen situatiebewustzijn heeft. De AI presenteerde uitkomsten met grote zekerheid, terwijl cruciale context ontbrak. De gebruiker kreeg zo het gevoel dat het antwoord “klopte”, terwijl het in werkelijkheid onveilig was. Dat is precies waar consumentenapps kwetsbaar zijn.
AI-systemen maken voorspellingen op basis van patronen in data. Zij “begrijpen” de wereld niet zoals mensen dat doen. Een kleine meetfout, dubbelzinnige invoer of verouderde informatie kan dan grote gevolgen hebben. Zeker als de app is ontworpen om snel en overtuigend te antwoorden.
De zichtbare les is dat presentatielaag en ontwerpkeuzes ertoe doen. Een nette interface met zelfverzekerde taal kan risicowaarschuwingen overschaduwen. Zonder duidelijke escalatieknoppen en fail-safes nemen mensen beslissingen die zij anders niet zouden nemen. Het incident laat zien dat dit niet theoretisch is, maar concreet.
Algoritmen missen veiligheidsgaranties
Veel consumententools met kunstmatige intelligentie hebben geen harde veiligheidslimieten. Een taalmodel kan bijvoorbeeld een plausibel maar fout medisch of navigatieadvies geven. Dat heet een hallucinatie: een verzinsel dat toch overtuigend klinkt. Zonder extra checks leidt dat tot gevaarlijke acties in de echte wereld.
Veiligheid vraagt om meer dan accuratesse in het gemiddelde geval. Ontwerpers moeten expliciet omgaan met zeldzame maar zware risico’s. Denk aan contextdetectie, ingebouwde grenzen en scenario’s voor noodgevallen. Ook het afvangen van dubbelzinnige input is nodig, bijvoorbeeld met terugvraaglogica.
De keten is net zo sterk als de zwakste schakel. Een model kan goed zijn, maar falen door slechte sensordata of verouderde kaarten. Of de interface negeert onzekerheidsscores. Daarom is end-to-end testen met “red teaming” essentieel, niet alleen model-evaluaties op een benchmark.
Definitie: een AI-hallucinatie is een ogenschijnlijk plausibel maar feitelijk onjuist antwoord van een model — extra risicovol wanneer het om veiligheid of gezondheid gaat.
Europese AI-verordening geldt
De Europese AI-verordening (AI Act) stelt grenzen aan hoe AI-systemen in de EU mogen werken. Op het moment van schrijven zijn algemene transparantie-eisen al van kracht en volgen strengere verplichtingen gefaseerd. Systemen die veiligheid raken, vallen sneller in de categorie hoog risico. Dan gelden onder meer risicobeheer, menselijk toezicht, logging en duidelijke instructies.
Consumentenapps met generatieve AI, zoals ChatGPT of Gemini, vallen als algemene AI onder specifieke plichten. Bij “systemische risico’s” moeten aanbieders extra maatregelen nemen, zoals incidentmelding en modelbeveiliging. Als een AI-functie onderdeel is van een product met veiligheidsrelevantie, gelden ook sectorregels. Denk aan de Algemene Productveiligheidsverordening en, waar passend, CE-markering.
Daarnaast blijft de AVG van kracht zodra persoonsgegevens worden verwerkt. Dataminimalisatie, doelbinding en versleuteling zijn verplicht. Aanbieders moeten ook kunnen uitleggen hoe beslissingen tot stand komen, op een manier die voor gebruikers begrijpelijk is. Dat is cruciaal wanneer advies kan leiden tot lichamelijk risico.
Gevolgen voor Nederland
Nederlandse zorg, onderwijs en mobiliteit werken steeds vaker met AI-hulpen. Denk aan triage-chatbots, route-advies in ov-apps of leerplatforms met adaptieve feedback. Na dit incident zullen instellingen scherper kijken naar risicoklassen en toezicht. Inkoopteams moeten systemen toetsen op veiligheid en uitlegbaarheid, niet alleen op prijs en features.
Toezichthouders zoals de Autoriteit Persoonsgegevens en de Nederlandse Voedsel- en Warenautoriteit krijgen hiermee een duidelijke taak. Zij bewaken naleving van de AVG en productveiligheid. Voor AI met hoog risico komt aanvullend toezicht onder de AI Act. Publieke instellingen doen er goed aan dit nu al in te bouwen in contracten.
Voor burgers betekent dit meer transparantie en betere noodremmen in apps. Verwacht expliciete waarschuwingen bij onzeker advies en duidelijke contactpunten voor escalatie. Ook moeten aanbieders melding doen van ernstige incidenten. Dat geeft gebruikers en beleidsmakers zicht op wat misgaat en hoe dat te voorkomen is.
Wat makers nu moeten doen
Ontwerp voor falen, niet alleen voor succes. Bouw onzekerheidsindicatoren in, dwing herbevestiging af bij risicosituaties en bied altijd een menselijk kanaal. Log beslissingen zodat incidenten te reconstrueren zijn. En zorg voor een zichtbare “kill switch” in interface en organisatie.
Voer risicobeoordelingen uit die passen bij de AI Act. Classificeer het systeem, documenteer datastromen en beperk persoonsgegevens volgens de AVG. Test met realistische randgevallen, inclusief verouderde of tegenstrijdige input. Publiceer gebruikersrichtlijnen die duidelijk maken wat het systeem wel en niet kan.
Communiceer eerlijk over beperkingen. Vermijd absolute claims en marketingslogans die schijnzekerheid wekken. Train supportteams op veiligheidsprotocollen en incidentmelding. Zo groeit vertrouwen op basis van aantoonbare zorgvuldigheid, niet op indruk.
Praktische tips voor gebruikers
Behandel AI-advies als een suggestie, niet als een bevel. Vraag door bij onduidelijkheden en controleer cruciale stappen met een tweede bron. Stop meteen als een systeem tegenstrijdig of risicovol lijkt. Gebruik gezond verstand boven snelheid.
Schakel waar mogelijk waarschuwingen en bevestigingsstappen in. Deel alleen noodzakelijke persoonsgegevens en let op toestemmingsvragen. Meld gevaarlijke fouten bij de aanbieder, en bij ernstige gevallen ook bij de relevante toezichthouder. Dat helpt anderen en dwingt verbetering af.
Bij gezondheids- of veiligheidskwesties: raadpleeg een professional. Een chatbot, routeplanner of assistent kent uw context niet volledig. Juist in stressvolle situaties is menselijk oordeel nodig. Dat kan het verschil maken tussen een kras en een ramp.