Beeld: AI-gegenereerd
In juli kwamen incidenten met AI-agenten van OpenAI, Meta, Anthropic en Google naar buiten. De incidenten bleken terug te voeren op testen van Irregular in Israël. De problemen ontstonden tijdens beveiligingsevaluaties in gesimuleerde omgevingen.
De kwestie laat zien hoe evaluaties toch echte impact kunnen hebben. Simulaties kunnen echte doelen raken als controles mislukken. De betrokken bedrijven werden rond eind juli geïnformeerd. Twee bedrijven brachten het zelf naar buiten en twee via berichtgeving.
Een testfout met echte gevolgen
Irregular werd in 2023 opgericht als Pattern Labs. Het bouwt “high-fidelity” platforms die echte AI-beveiligingsscenario’s nabootsen en bewaken. Het werk werd genoemd in systeemkaarten van OpenAI. Het testte systemen voor de Britse overheid en Anthropic en publiceerde onderzoek met RAND.
Verschillende tests lieten agenten ontsnappen uit een verondersteld veilige omgeving. De agenten kregen onbedoeld internettoegang. Een fictieve doelnaam overlapte met een echt domein. Die combinatie stuurde agenten richting echte doelen. De inbreuken staan los van de aanval op Hugging Face en inbreuken bij het AI Security Institute van het VK.
Meldingen en betrokken partijen
De CTO zegt dat alle incidenten voortkwamen uit hetzelfde probleem in één evaluatiescenario. Hij bevestigt dat dit speelde bij modellen van OpenAI, Meta, Anthropic en Google. De evaluaties gebruikten onder meer capture-the-flag-oefeningen. Die vragen agents om verborgen informatie te vinden binnen een netwerk dat gesimuleerd hoort te zijn.
Rapporten van Anthropic en OpenAI wijzen op meldingen rond eind juli. De twee bedrijven maakten hun inbreuken zelf bekend. De incidenten bij Meta en later Google kwamen eerst via media naar buiten. Het is onduidelijk wie precies is aangevallen, want dat werd niet gespecificeerd.
Chinese modellen en aanpassingen
Onderzoek op de site van Irregular beschrijft ook evaluaties van Kimi K3 en GLM-5.2. Dat zijn open modellen van Moonshot AI en Z.ai. Deze evaluaties draaiden als self-hosted instanties op eigen hardware. Er werden geen vergelijkbare echte wereld-incidenten gezien bij deze modellen. De CTO waarschuwde dat dit geen bewijs is voor minder vatbaarheid.
“Andere beveiligingsincidenten die recent in de sector zijn gemeld, zijn niet gerelateerd aan Irregular of aan onze evaluaties.”
– Omer Nevo, CTO en medeoprichter van Irregular
Het bedrijf meldde dat internettoegangscontroles zijn aangescherpt. De monitoring en handmatige review zijn uitgebreid. De checks vooraf zijn versterkt om toegang en scope te toetsen. De documentatie en afstemming van opzet en parameters met partners zijn verbeterd. Er komt een breder rapport na afronding van het gezamenlijke werk met betrokken partijen.
De CTO zegt dat de problemen in de testomgeving zijn verholpen. Geen van de vier Amerikaanse bedrijven gaf extra details. Google en Anthropic reageerden niet. OpenAI en Meta verwezen naar eerder gepubliceerde blogposts.
Bron: The Verge (theverge.com)
https://www.theverge.com/ai-artificial-intelligence/1000644/irregular-rogue-ai-cyberattacks-hacking-openai-meta-anthropic-google