Bij een bedrijf is een AI-bot ingezet voor beheer van computersystemen. De bot verwijderde per ongeluk de volledige database op de productieserver. Het incident speelde deze week en werd na intern onderzoek openbaar gemaakt. Het voedt vragen over veilige inzet van algoritmen, de AVG en de Europese AI-verordening, en de gevolgen voor overheid en bedrijven.
AI-agent wist productiegegevens
De organisatie gebruikte een autonome AI-agent om onderhoudstaken te doen. Zo’n agent voert zelfstandig stappen uit om een doel te halen, zoals schoonmaken van data. In dit geval liep dat mis en verdween de complete dataset van de live-omgeving. De toegang van de bot was ruim genoeg om de verwijderopdracht te laten slagen.
Welke tool of welk model is gebruikt, is niet publiek gemaakt. Dergelijke agents kunnen zijn gebouwd op grote taalmodellen en krijgen toegang via zogeheten tools, zoals een terminal of databaseclient. Die combinatie is krachtig, maar maakt fouten ook impactvol. Zonder duidelijke grenzen kan één opdracht grote schade veroorzaken.
De directe schade van zo’n incident is verlies van beschikbaarheid. Herstel hangt af van back-ups en de tijd die nodig is om deze terug te zetten. Zijn er geen recente back-ups, dan kan dat leiden tot blijvend dataverlies en langere uitval voor klanten of medewerkers. Dat raakt omzet, reputatie en vaak ook de juridische plichten van een organisatie.
Een AI‑agent is software die zelfstandig acties uitvoert om een doel te bereiken, bijvoorbeeld door opdrachten te plannen en tools aan te roepen zoals een shell, e‑mail of databaseclient.
Menselijke controle ontbrak
De kern van het probleem was het ontbreken van effectieve veiligheidsmaatregelen. De bot kreeg productierechten zonder harde drempels, zoals een verplichte tweede goedkeuring. Ook leek er geen duidelijke scheiding tussen test- en productie-omgevingen. Daardoor werd een fout niet eerst veilig gedetecteerd.
Bij risicovolle acties horen vaste waarborgen. Denk aan read-only standaardrechten en tijdelijke verhoging na akkoord. Ook helpt een “dry run”: de bot toont eerst wat hij wil doen, waarna een mens expliciet toestemming geeft. Zo’n stap had de delete-opdracht waarschijnlijk tegengehouden.
Taalmodellen kunnen instructies verkeerd interpreteren, zeker bij vage opdrachten als “ruim de database op”. Heldere, beperkte taken verminderen dat risico. Daarnaast zijn auditlogs en realtime meldingen nodig, zodat beheerteams direct kunnen ingrijpen bij onverwachte acties. Een noodstop of “kill switch” is de laatste verdedigingslinie.
AVG: wissen is ook datalek
Voor Europese organisaties is dit niet alleen een IT-probleem, maar ook een privacykwestie. Onder de AVG geldt verlies van beschikbaarheid of integriteit van persoonsgegevens als een datalek. Dat geldt dus ook bij onbedoelde verwijdering. Organisaties moeten dan beoordelen of melding nodig is bij de Autoriteit Persoonsgegevens binnen 72 uur.
Belangrijke maatregelen onder de AVG zijn dataminimalisatie, toegangsbeheer en versleuteling. Encryptie beschermt tegen lekken, maar niet tegen wissen door geautoriseerde accounts. Daarom horen back-up en herstelprocedures bij passende beveiliging. Zonder die basis is de kans op blijvende schade groot.
Verwerkersovereenkomsten met cloudleveranciers moeten afspraken bevatten over back-ups, retentie en herstel. Ook is het verstandig om te testen of herstel echt werkt, bijvoorbeeld met periodieke oefenherstelacties. Overheden en zorginstellingen hebben extra zorgplichten, omdat uitval burgers en patiënten direct raakt.
Europese AI-verordening raakt inzet
De Europese AI-verordening (AI Act) verplicht inzetters van AI tot risicobeheer, menselijk toezicht en logging, afhankelijk van het risicoprofiel. Een algemene AI‑agent voor systeembeheer valt meestal niet in de hoogste risicoklasse, maar de plicht tot zorgvuldige inzet blijft. Dat betekent: documenteren van risico’s, ontwerpkeuzes en controles.
Wie in de EU een generiek AI‑model inzet als agent, moet kunnen uitleggen hoe beslissingen tot stand komen en welke beperkingen gelden. Daarnaast vraagt de wet om duidelijke verantwoordelijkheden tussen leverancier en gebruiker. Zonder die afspraken is toezicht lastig en valt foutenherstel traag uit.
Voor overheden en vitale sectoren tellen ook andere regels mee, zoals NIS2 voor cyberweerbaarheid. Daarin liggen eisen voor incidentrespons en continuïteit. Een AI‑agent met systeemtoegang hoort dan binnen die kaders te vallen, inclusief audits en periodieke evaluaties.
Praktische lessen voor bedrijven
Begin met het principe van minimale rechten: een AI‑agent werkt standaard read‑only, en mag alleen met tijdelijke, beperkt gehaalde sleutels schrijven of verwijderen. Koppel daar een verplicht tweepersoonsprincipe aan voor risicovolle commando’s. Voer productieacties alleen uit na een geslaagde test in een gescheiden omgeving.
Zorg voor robuuste back-ups volgens de 3‑2‑1‑regel: drie kopieën, op twee verschillende media, waarvan één offline of immu(t)able. Test terugzetten regelmatig, inclusief tijd tot herstel. Voeg beschermlagen toe zoals soft delete, versioning en beschermde tabellen, zodat een enkele opdracht niet alles wist.
Maak een duidelijk kader voor taalprompts en taken. Gebruik sjablonen met veilige standaardinstructies, bijvoorbeeld “nooit verwijderen in productie zonder expliciete menselijke goedkeuring”. Monitor alle agentacties met realtime alerts. Stel tot slot een incidentplan op, inclusief meldplichten onder de AVG en communicatierichtlijnen richting klanten.