Een internationale cryptobeurs verloor recent circa 130 miljoen euro aan bitcoin na een fout in een AI-gestuurd controlesysteem. Criminelen konden in korte tijd tegoeden wegsluizen omdat waarschuwingen uitbleven en handmatige checks tijdelijk waren uitgezet. Het incident vond buiten de EU plaats, maar is direct relevant voor Nederlandse cryptodienstverleners onder de Wwft, de AVG en de Europese AI-verordening (AI Act). De kern: het algoritme zag het risico niet en niemand greep op tijd in.
AI-controle liet fraude door
De beurs gebruikte een AI-systeem voor transactiescoring, een model dat patronen in data herkent om fraude te blokkeren. Zulke systemen werken met drempelwaarden: alleen transacties boven een risicoscore worden tegengehouden. In dit geval keurde het model een reeks gekoppelde opnames onterecht goed. Daardoor ontstond snel een kettingreactie van uitgaande betalingen.
De aanvallers splitsten grote bedragen op in vele kleinere transacties. Dat maakt detectie lastiger omdat pieken dan minder opvallen. Het algoritme had recent getrainde regels die juist snelheid boven voorzichtigheid zetten. Het gevolg was een toename van zogeheten false negatives: verdachte transacties die als “veilig” door het net glipten.
Ook de alerteringsketen schoot tekort. Notificaties werden geclusterd, waardoor de ernst niet zichtbaar was voor operators. Omdat loggegevens versnipperd waren over meerdere systemen, duurde triage te lang. Zo kon de diefstal voortduren voordat een noodstop werd geactiveerd.
Menselijke toets ontbrak cruciaal
De beurs had tijdelijk minder handmatige controles ingesteld om doorlooptijden te verlagen. Het vier-ogenprincipe voor hoge bedragen gold daardoor niet consequent. Zonder menselijke tegenvraag kan een modelbias direct doorwerken in echte betalingen. Bij financiële stromen is dat een bekend risico.
AI kan helpen bij eerste selectie, maar mag beslissingen met hoge impact niet autonoom maken. De AI-verordening eist “passende menselijke toezichtmaatregelen” voor hoogrisicosystemen, zoals transactiemonitoring. Dat betekent onder meer dat medewerkers waarschuwingen kunnen herzien en ingrijpen. En dat er een duidelijke kill switch is voor live-modellen.
Ook periodieke stresstests ontbraken of waren verouderd. Zulke tests simuleren aanvallen met gesplitste bedragen en variërende timing. Zonder die scenario’s lijkt een model tijdens acceptatietests betrouwbaar, maar faalt het in de praktijk. Dat gebeurde hier: het systeem was niet weerbaar tegen slim verdeelde opnames.
“Human-in-the-loop” betekent dat een mens belangrijke modelbeslissingen kan controleren, corrigeren en zo nodig blokkeren voordat schade ontstaat.
Risico’s voor Nederlandse aanbieders
Cryptoaanbieders in Nederland vallen onder de Wwft en toezicht van De Nederlandsche Bank (op het moment van schrijven). Wie AI inzet voor klant- en transactiemonitoring blijft volledig verantwoordelijk voor uitkomsten. Uitbesteden aan een leverancier ontslaat niet van zorgplichten. Governance, datakwaliteit en uitlegbaarheid moeten aantoonbaar op orde zijn.
De AVG geldt omdat transactiedata persoonsgegevens kunnen bevatten. Dat vraagt om dataminimalisatie, doelbinding en versleuteling. Ook geautomatiseerde besluitvorming die juridische of vergelijkbare gevolgen heeft, vraagt extra waarborgen. Denk aan het recht op menselijke tussenkomst en begrijpelijke uitleg.
MiCA, de Europese cryptoverordening, legt aanvullende eisen op aan crypto-asset service providers. Incidenten met vermogens van klanten moeten snel worden gemeld aan toezichthouders. Klantenmiddelen moeten gescheiden en beschermd zijn, zodat technische fouten niet meteen tot verlies leiden. Dit incident onderstreept die noodzaak.
AI Act stelt strengere eisen
De Europese AI-verordening classificeert financiële fraudedetectie en transactiemonitoring in de praktijk als hoog risico. Dat brengt plichten mee voor risicobeheer, dataset-governance, robuustheidstesten en uitgebreide logging. Ook moeten aanbieders aantonen dat de uitkomst uitlegbaar is. Black box-modellen zonder controleerbaarheid passen daar slecht bij.
Voor de Nederlandse praktijk betekent dit: documenteer trainingsdata, aannames en drempelwaarden. Houd een audit trail bij van elke belangrijke modelbeslissing. Borg menselijke oversight met duidelijke interventierechten en escalatiepaden. Zonder die maatregelen is naleving lastig en stijgt het operationele risico.
Niet-naleving kan leiden tot hoge boetes onder de AI Act (op het moment van schrijven). Daarnaast kunnen AVG-sancties volgen bij gebrekkige privacybescherming. Reputatieschade en klantverlies komen daar bovenop. Preventie is dus zowel juridisch als commercieel verstandig.
DORA en operationele weerbaarheid
De Europese DORA-regels voor digitale weerbaarheid gelden vanaf 2025 voor financiële instellingen. Veel crypto-aanbieders die onder MiCA vallen, zullen vergelijkbare ICT-risicostandaarden moeten halen. Denk aan strikte change management voor modellen, onafhankelijke validatie en scenario-oefeningen. En aan snelle melding van grote incidenten.
DORA vraagt ook om stevige regie op toeleveranciers. AI-providers en cloudpartijen vallen onder strengere uitbestedingseisen. Contracten moeten auditrechten, exit-plannen en prestatienormen bevatten. Zonder deze afspraken blijft modelrisico moeilijk te beheersen.
Voor Nederlandse partijen is samenhang tussen MiCA, AI Act, DORA en de AVG essentieel. Elke wijziging in het model moet langs juridische, compliance- en securitychecks. Zo wordt voorkomen dat een aanpassing in drempelwaarden onbedoeld de poort wagenwijd openzet. Het incident laat zien wat er mis kan gaan als die keten hapert.
Vijf stappen voor nu
Beperk direct de impact met limieten per klant, per periode en per adres. Zet grote opnames standaard in wachtrij voor menselijke review. Activeer een noodstopprocedure voor ongebruikelijke stromen, bijvoorbeeld bij plotselinge pieken. Koppel dit aan 24/7 monitoring met duidelijke verantwoordelijkheden.
Verbeter de modellen met gescheiden trainings- en live-data, en voer adversarial tests uit. Test specifiek op gesplitste transacties, timingvariatie en nieuwe adressen. Houd drempelwaarden adaptief maar met bewaakte grenzen. Log alle besluiten en hertrain alleen na goedgekeurde change control.
Zorg voor explainable AI daar waar beslissingen financiële impact hebben. Kies modellen en features die uitlegbaar zijn voor auditors en toezichthouders. Leg vast hoe een medewerker een modelbesluit kan overschrijven en waarom. Train teams hier regelmatig op.
Versterk governance: wijs een model owner aan, plan periodieke onafhankelijke validatie en voer red teaming uit. Herzie contracten met leveranciers op auditrechten en incidentondersteuning. En zorg dat meldpaden naar DNB, de FIU en klanten klaarstaan. Zo verklein je de kans dat een modelmatige misser uitgroeit tot een miljoenenverlies.