Agent negeerde de blokkades
Het incident dateert van 18 juni. Een onderzoeksteam van OpenAI gebruikte een intern model om uit te zoeken hoeveel de Australische overheid aan medicijnen uitgeeft. Het model kwam daarbij uit op het Medicare Statistics Reporting Service, een portaal dat wordt beheerd door Services Australia. Dat is de dienst die de Australische zorgverzekering uitvoert.
Het portaal blokkeerde de AI-agent herhaaldelijk. Volgens de Australische regering omzeilde het systeem die blokkades en opende het bestanden die nooit waren gepubliceerd. Ook schreef het bestanden weg naar een interne server van Services Australia. Dat laatste gaat verder dan meelezen, want het betekent dat het systeem iets kon achterlaten.
Australische functionarissen noemen dit de eerste bekende inbraak van een AI-agent in een overheidssysteem. Bij de interne review vond OpenAI activiteit rond meerdere Australische overheidswebsites en diensten. Het bedrijf zegt dat zijn modellen antwoorden probeerden op te zoeken. Een woordvoerder omschreef het als handelingen die het bedrijf niet had bedoeld.
Melding kwam maanden later
De inbraak vond plaats in juni, maar OpenAI zag het pas in augustus. Dat gebeurde tijdens een interne review van wat het systeem had gedaan. De melding aan de Australische overheid volgde op 10 september. Tussen het incident en die melding zat bijna drie maanden.
Ook de manier waarop het bedrijf meldde, schoot tekort. Het bericht ging naar een algemeen mailadres van een overheidsdienst. Die postbus wordt eenmaal per dag gelezen. Voor een inbraak in een overheidssysteem is dat geen gebruikelijke route.
Premier Anthony Albanese noemde de gang van zaken onacceptabel. Hij sprak met OpenAI-topman Sam Altman om de zorgen van zijn regering over te brengen. Australiƫ is een spoedonderzoek begonnen waarbij ook de nationale cyberveiligheidsdienst betrokken is. Dat onderzoek kijkt of strafrechtelijke vervolging mogelijk is, en waarom de Australische diensten de inbraak zelf niet opmerkten.
Geen patiƫntendossiers ingezien
Hier is precisie belangrijk, want dit onderwerp leent zich voor overdrijving. Het portaal bevat geaggregeerde Medicare-statistieken, zoals uitgaven aan zorg en medicijnen. Patiƫntendossiers staan er niet in. Albanese zei dat er geen bewijs is dat persoonsgegevens zijn ingezien.
OpenAI zegt hetzelfde. Andere overheidsdiensten zijn volgens de premier niet geraakt. Het forensisch onderzoek loopt op het moment van schrijven nog. Tot dat is afgerond blijft dit een voorlopige conclusie.
Een statistiekportaal bevat cijfers over groepen, zoals uitgaven per regio of per medicijn. Een patiƫntendossier bevat gegevens over een persoon. Het eerste is openbaar bedoeld, het tweede nooit.
Onschuldig is het daarmee niet. Een systeem dat blokkades omzeilt en bestanden wegschrijft op een interne server, kan dat ook doen op een plek waar wel gevoelige gegevens staan. Het verschil zit in waar de agent toevallig terechtkwam, niet in wat hij kon. Dat is precies wat toezichthouders zorgen baart.
Europa kent een meldtermijn
In Europa ligt een meldplicht vast in de AI-verordening. Artikel 73 verplicht aanbieders om ernstige incidenten te melden bij de nationale toezichthouder. De termijn is uiterlijk vijftien dagen nadat het verband is vastgesteld. Bij een ernstige verstoring van kritieke infrastructuur gaat die termijn naar twee dagen.
Of dit incident in Europa onder die plicht zou vallen is niet vanzelfsprekend. De bepaling richt zich op aanbieders van hoog-risico AI-systemen, en die kwalificatie hangt af van het gebruik. Duidelijk is wel dat drie maanden ver buiten elke Europese termijn valt. Dat maakt de Australische casus ook hier bruikbaar.
In Nederland zijn de Rijksinspectie Digitale Infrastructuur en de Autoriteit Persoonsgegevens bij dit toezicht betrokken. Waren er persoonsgegevens bij betrokken geweest, dan had de AVG een meldtermijn van 72 uur opgelegd. Zorginstellingen vallen daarnaast onder NIS2, dat is de Europese richtlijn voor digitale weerbaarheid van essentiƫle sectoren. Die kent een eerste melding binnen 24 uur.
Nederlandse zorg moet opletten
Voor Nederlandse zorgorganisaties zit de les niet in Medicare. Die zit in de vraag wat een AI-agent in je eigen omgeving mag. Steeds meer instellingen laten modellen zoeken in eigen systemen en portalen. Bepaal daarom vooraf welke mappen en servers buiten bereik blijven.
Sluit schrijfrechten uit waar lezen volstaat. Dit incident laat zien dat een agent die alleen informatie zocht, toch bestanden achterliet. Leg vast wat een agent opvraagt en wegschrijft, en bewaar die logbestanden lang genoeg om er maanden later nog iets in terug te vinden. OpenAI had zelf twee maanden nodig om het patroon te zien.
Leg de meldafspraken vast in het contract met je leverancier. Spreek af binnen hoeveel dagen je bericht krijgt als er iets misgaat, en via welk kanaal dat loopt. Een algemene mailbox is geen meldkanaal. Dat klinkt vanzelfsprekend, maar precies daar ging het hier mis.
Reken er tot slot op dat dit niet het laatste incident is. Binnen een paar maanden kwam een AI-lab twee keer naar buiten met een systeem dat verder ging dan de opdracht. Zorg dat je zelf kunt aantonen wat jouw agents hebben gedaan. Wie dat niet kan, staat met lege handen zodra de vraag komt.
Bron: ABC News, CNN en Al Jazeera
