OpenAI bevestigt: AI-systemen verspreidden schadelijke softwarepakketten

OpenAI heeft bevestigd dat antwoorden van ChatGPT en aanverwante AI-systemen onbedoeld de verspreiding van schadelijke softwarepakketten hebben geholpen. Het gebeurde wereldwijd, ook in Europa, doordat installatietips en codevoorbeelden naar malafide pakketten leidden. Het bedrijf zegt het probleem recent te hebben onderzocht en technische tegenmaatregelen te hebben genomen. De kwestie raakt softwareketens en raakt daarmee ook Nederlandse organisaties en overheden onder de Europese AI-verordening.

OpenAI erkent verspreidingsprobleem

OpenAI stelt dat sommige door ChatGPT en API-modellen gegenereerde adviezen ontwikkelaars naar pakketbronnen stuurden waar malware in zat. Het gaat om commando’s en voorbeeldcode die direct een pakket installeren, zoals via pip of npm. Zo kunnen kwaadwillende pakketten ongemerkt in projecten terechtkomen. OpenAI benadrukt dat het zelf geen pakketten host, maar dat de aanbevelingen wel invloed hebben op installaties door gebruikers.

Volgens het bedrijf was er sprake van een combinatie van modelhallucinaties en misbruik van publieke registries. Bij hallucinatie verzint een model een plausibel maar niet-bestaand pakket of kiest een naam die later door een aanvaller is geclaimd. Aanvallers spelen daarop in door snel pakketten met die naam te publiceren. Daardoor kan een onschuldig advies toch leiden tot een besmette afhankelijkheid.

OpenAI zegt detecties en filters te hebben aangescherpt om risicovolle installaties te ontmoedigen. Ook zijn waarschuwingen toegevoegd wanneer modellen installatie-instructies genereren. Het bedrijf meldt dat er aanvullend onderzoek loopt en dat het met externe partners blijft samenwerken om misbruik te beperken. Verdere details over aantallen en getroffen pakketten zijn beperkt op het moment van schrijven.

Zo werkt de misleiding

Publieke pakketregistries zoals npm en PyPI bevatten miljoenen onderdelen die ontwikkelaars dagelijks gebruiken. Een aanval op die keten heet een supply‑chain‑aanval: de schadelijke code komt binnen via een ogenschijnlijk normaal onderdeel. Als een AI-assistent een pakketnaam aanraadt, groeit het vertrouwen en de zichtbaarheid. Dat vergroot de kans dat het pakket wordt geïnstalleerd, ook in professionele omgevingen.

Een bekend patroon is dat modellen een overtuigende, maar foute pakketnaam geven. Aanvallers registreren die naam snel en voegen een kwaadaardig installatie‑script toe. Wie de instructie blind volgt, haalt dan onbedoeld malware binnen. Dit kan leiden tot datadiefstal, backdoors of verstoring van bouwprocessen (CI/CD).

Package‑hallucinatie is wanneer een taalmodel een niet‑bestaand softwarepakket verzint en een gebruiker dat toch probeert te installeren.

De dynamiek wordt versterkt doordat veel ontwikkelomgevingen één‑regel‑installaties toelaten. Een enkele copy‑paste uit ChatGPT kan dan al genoeg zijn. Zonder controle op herkomst, maintainer en reputatie is de kans op misbruik groot. Zo ontstaat ketenschade die lastig te traceren is.

Maatregelen bij OpenAI

OpenAI heeft aanvullende veiligheidsregels ingesteld rond code en installatieadviezen. De modellen geven vaker waarschuwingen en verwijzen naar stappen om een pakket te controleren, zoals maintainer, versies en changelogs. Ook worden directe installatiecommando’s in sommige gevallen neutraler geformuleerd. Zo wil het bedrijf impulsieve één‑klik‑installaties afremmen.

Daarnaast zegt OpenAI signalen over mogelijke malafide pakketten sneller door te lussen naar beveiligingsteams. Het bedrijf werkt met abuse‑detectie om patronen van misbruik te herkennen. Denk aan plotselinge pieken in onbekende pakketnamen of herhaalde verzoeken die op social‑engineering wijzen. Deze signalen moeten leiden tot blokkades of strengere outputcontroles.

Voor zakelijke klanten benadrukt OpenAI beheersopties, zoals beleid voor codegeneratie en auditlogs. Organisaties kunnen daarmee vastleggen hoe AI‑adviezen worden gebruikt en beoordeeld. Dat helpt bij naleving van interne beveiligingsrichtlijnen. Tegelijk blijft het essentieel dat teams zelf reviewstappen inbouwen.

Europese AI-verordening gevolgen

De Europese AI‑verordening (AI Act) legt aanbieders van algemene AI‑systemen, zoals ChatGPT, zorgplichten op om systeemrisico’s te beperken. Verspreiding van malafide pakketten via gegenereerde adviezen kan zo’n systeemrisico zijn. Leveranciers moeten risico’s beoordelen, mitigeren en transparant rapporteren. Deze verplichtingen treden gefaseerd in werking in 2025 en 2026.

Voor Europese organisaties betekent dit dat zij bij inkoop en gebruik van AI‑assistenten op compliancedocumentatie mogen rekenen. Contracten kunnen eisen opnemen over misbruikpreventie, monitoring en incidentafhandeling. In sectoren onder NIS2 gelden bovendien strengere eisen aan supply‑chain‑beveiliging. Denk aan energie, zorg, vervoer en overheid.

Ook de aankomende Cyber Resilience Act benadrukt ketenveiligheid van software en componenten. Teams moeten aantoonbaar maatregelen treffen rond kwetsbaarheden en derde‑partij‑onderdelen. Nederlandse overheden werken daarbij onder de BIO‑normen, die expliciet controleren op toeleveringsrisico’s. AI‑adviezen vallen binnen diezelfde zorgplicht: vertrouwen is goed, verificatie is verplicht.

Praktische stappen voor teams

Behandel AI‑uitvoer als suggestie, niet als waarheid. Controleer elke nieuwe afhankelijkheid op maintainer, downloadhistorie, issues en recent onderhoud. Vergelijk pakketnamen via meerdere bronnen, bijvoorbeeld officiële documentatie of gerenommeerde communities. Installeer nooit pakketten die alleen via een chatadvies zijn gevonden.

Vergrendel afhankelijkheden met lockfiles en versie‑pinning. Gebruik integriteitscontroles zoals hashes en ondertekening waar mogelijk. Laat nieuwe pakketten minimaal door twee mensen reviewen. Automatiseer controles met software‑composition‑analysis en houd een interne whitelist of mirror aan.

Scherm CI/CD‑omgevingen af met beperkte netwerktoegang en vaste registries. Schakel “post‑install”-scripts uit waar dat kan of voer ze in een sandbox uit. Log en monitor alle dependency‑wijzigingen, inclusief wie ze heeft doorgevoerd en waarom. Documenteer beleid voor het gebruik van ChatGPT en vergelijkbare tools, met verwijzing naar de AI‑verordening en NIS2‑eisen.