Het journalistieke platform Pointer toont aan dat AI-chatapps gemakkelijk seksueel te misbruiken zijn. In tests kon expliciete rolplay snel op gang komen, ook als een gesprek zogenaamd over minderjarigen ging. De apps zijn wereldwijd beschikbaar en populair in Nederland. Dat maakt dit ook een zaak voor Europese regels zoals de AI-verordening en de AVG.
Leeftijdsgrenzen werken niet
Veel chatapps vragen alleen om een zelf opgegeven leeftijd. Er is vaak geen controle of de gebruiker echt meerderjarig is. Daardoor kunnen jongeren eenvoudig binnenkomen. Dat vergroot de kans op schadelijke gesprekken.
Bekende voorbeelden van dit type apps zijn Character.AI, Replika en Snapchat My AI. Zij bieden chatbots voor gezelschap, advies of rollenspellen. De bedrijven zeggen dat er veiligheidsfilters zijn. In de praktijk zijn die drempels vaak laag.
Appwinkels hanteren leeftijdsadviezen, maar die zijn niet bindend. De Digital Services Act verplicht grote platforms om risico’s voor minderjarigen te beperken. Toch blijft effectieve leeftijdscontrole lastig. Privacyvriendelijke leeftijdsverificatie wordt nog weinig gebruikt.
Filters omzeilen blijft simpel
De meeste apps gebruiken inhoudsfilters. Dat zijn algoritmen die woorden en patronen herkennen. Gebruikers kunnen die filters vaak omzeilen met omwegen in de instructie. Dat heet in de praktijk “jailbreaken”.
Een omweg kan simpel zijn, zoals doen alsof het een toneelstuk is. Ook het verplaatsen naar andere talen of vaag taalgebruik helpt soms. Zo glippen gesprekken toch door de controle. Het systeem leert daar niet altijd direct van.
De bedrijven passen lijsten en modellen aan, maar lopen achter de feiten aan. Nieuwe trucs duiken snel op in online fora. Daardoor blijft het kat-en-muis. Zonder strakkere systeemmaatregelen verandert dat weinig.
Risico’s voor minderjarigen
Kwetsbare jongeren kunnen in schadelijke scenario’s terechtkomen. Een chatbot geeft dan bijvoorbeeld normaliserende of aanmoedigende antwoorden. Dat kan grensoverschrijdend gedrag versterken. De stap naar offline risico’s wordt zo kleiner.
Ook kunnen gebruikers materiaal of gesprekken bewaren en delen. Dat vergroot de verspreiding van schadelijke content. Scholen en ouders hebben hier weinig zicht op. Er is zelden standaard monitoring of melding.
Hulpdiensten waarschuwen al langer voor online grooming. AI-gestuurde gesprekken maken die dynamiek complexer. De grens tussen fictie en realiteit vervaagt. Dat bemoeilijkt ook handhaving.
Wetgeving dwingt meer zorgplicht
De Europese AI-verordening legt transparantieplichten op voor chatbots. Een dienst moet duidelijk maken dat een gebruiker met een AI-systeem praat. Bij risico’s voor minderjarigen gelden strengere maatregelen en testen. Dat vraagt aantoonbare risicobeheersing door aanbieders.
De AVG eist dataverwerking met dataminimalisatie en beveiliging. Dit geldt extra zwaar bij kinderen. Verzamelt een app gespreksdata, dan moet daar een wettelijke grondslag voor zijn. Ook moeten gebruikers rechten op inzage en verwijdering kunnen uitoefenen.
De Digital Services Act verplicht grote platforms tot risicobeoordelingen en mitigatie. Nederlandse toezichthouders, zoals de Autoriteit Persoonsgegevens en de ACM, kunnen ingrijpen. Strafrecht blijft daarnaast een harde grens. Dat geldt ook voor door AI gegenereerde beelden of teksten van minderjarigen.
In Nederland verbiedt artikel 240b Wetboek van Strafrecht afbeeldingen van seksuele gedragingen met minderjarigen, ook wanneer die realistisch door AI zijn gegenereerd.
Reacties en maatregelen nodig
Bedrijven achter Character.AI, Replika en Snapchat stellen dat zij filters en meldknoppen bieden. Toch laat de praktijk zien dat misbruik vaak door glipt. Een sterker ontwerp met veilige standaardinstellingen is nodig. Denk aan strengere blokkades en betere detectie van omwegen.
Leeftijdscontrole kan privacyvriendelijker met techniek als lokale ID-checks of geschatte volwassenheid. Ook helpt het om expliciete rolplay standaard uit te zetten. Ouders en scholen hebben baat bij heldere uitleg en tools. Transparante logboeken kunnen misstanden sneller aantonen.
Op het moment van schrijven werken toezichthouders aan invulling van de AI-verordening. Dit zal eisen voor risicoanalyse, audit en rapportage verduidelijken. Voor aanbieders in de EU wordt dat bindend. Wie zijn huis niet op orde heeft, riskeert boetes en ingrepen.
Wat dit voor Nederland betekent
De combinatie van AI-verordening, DSA en AVG geeft toezichthouders meer handvatten. Diensten die in Nederland actief zijn, moeten straks aantoonbaar risico’s voor jongeren verminderen. Overheden en onderwijsinstellingen kunnen dat opnemen in inkoop en beleid. Zo ontstaat druk op betere standaarden.
Voor opsporing blijft het belangrijk dat meldingen snel en volledig zijn. Platformen moeten bruikbare rapportage leveren zonder onnodige data te verzamelen. Dat past bij de AVG en helpt handhaving. Heldere procedures verkleinen de schade.
Uiteindelijk draait het om ontwerpkeuzes. Minder vrijheid voor expliciete rolplay weegt op tegen het risico voor jongeren. Transparantie over filters en fouten helpt vertrouwen te herstellen. En snelle verbetercycli maken misbruik lastiger.
