AI-labs van OpenAI, Google DeepMind, Anthropic en Meta maken zich zorgen over modeldistillatie. Daarbij traint een kleiner systeem op antwoorden van een groter model. Deze praktijk groeit snel in de VS en Europa, ook in Nederland. Het raakt aan concurrentie, kwaliteit en regels uit de Europese AI-verordening met gevolgen voor de overheid.
Open modellen versnellen destillatie
Bedrijven en onderzoekers gebruiken open modellen zoals Llama 3 van Meta en Mistral 7B om instructies te leren via synthetische voorbeelden. Die voorbeelden komen vaak uit gesloten modellen zoals GPT-4o, Claude 3 of Gemini 1.5. Zo kopieert een compact model de stijl en keuzes van een groter model.
Het voordeel is duidelijk: lagere kosten en bredere inzet, bijvoorbeeld op een laptop of edge-apparaat. Ook kan een organisatie een model beter afstemmen op een niche, zoals juridische of medische taal. Daardoor groeit de aantrekkingskracht voor start-ups en publieke instellingen met beperkte middelen.
Er zijn al bekende recepten in omloop, zoals Self-Instruct en instructie-datasets die deels zijn opgebouwd met modelantwoorden. Zulke recepten maken het laagdrempelig om een basismodel om te vormen tot een taakgericht hulpsysteem. De grens tussen “trainen op data” en “nadoen van gedrag” vervaagt zo snel.
Modeldistillatie is het trainen van een kleiner model op de antwoorden van een groter model, om gedrag te kopiëren en kosten te verlagen.
Kwaliteit lijdt onder synthetische data
Trainen op eigen of andermans modeluitvoer kan de diversiteit van kennis verkleinen. Wetenschappers waarschuwen voor “model collapse”: prestaties dalen wanneer modellen vooral van elkaar leren. Fouten, vooroordelen en verzinsels kunnen dan steeds sterker worden.
Organisaties zien dit terug in evaluaties. Een gedistilleerd model scoort soms goed op bekende benchmarks, maar valt door de mand bij zeldzame of onverwachte vragen. Het mist dan echte variatie uit originele, menselijke data.
Ook de meetlat zelf raakt beïnvloed. Als benchmarks in omloop zitten, kunnen modellen leren “te spelen naar de test”. Daardoor lijkt vooruitgang groter dan die is, wat beleid en inkoop misleidt.
Grote labs beperken hergebruik
Grote aanbieders proberen het trainen op hun antwoorden te ontmoedigen via contractvoorwaarden. In veel gebruiksvoorwaarden staan beperkingen op het bouwen van concurrerende modellen met gegenereerde output. Dat is vooral een contractkwestie, geen auteursrecht op feitelijke antwoorden.
Technisch werken labs aan manieren om herkomst te achterhalen, bijvoorbeeld via detectie of herkomstlabels. Zulke maatregelen zijn nog niet waterdicht en kunnen prestaties beïnvloeden. De inzet van watermerken bij tekst is bovendien kwetsbaar voor bewerkingen.
Voor klanten levert dit spanning op. Ze willen interne modellen snel verbeteren met synthetische data, maar willen ook niet in strijd handelen met licenties. Juridische en compliance-teams krijgen zo een grotere rol bij experimenten met generatieve AI.
AI-verordening vraagt transparantie
De Europese AI-verordening verplicht aanbieders van algemene AI-systemen tot documentatie, risicobeoordelingen en transparantie over trainingsbronnen. Bij distillatie geldt dat ook voor de herkomst van synthetische data en gebruikte modellen. Wie data of modellen hergebruikt, moet kunnen uitleggen wat de gevolgen zijn.
Publieke instellingen en kritieke sectoren in Europa vallen sneller onder strengere eisen. Voor high-risk toepassingen zijn dataminimalisatie, kwaliteitsbeheer en menselijk toezicht verplicht. Dit raakt direct aan de “Europese AI-verordening gevolgen overheid”, bijvoorbeeld bij chatbots in publieke dienstverlening.
De AVG blijft onverkort gelden als prompts of modeluitvoer persoonsgegevens bevatten. Dan zijn grondslag, doelbinding en passende beveiliging nodig, ook bij synthetische instructiesets. Hergebruik van outputs met gevoelige data is dan meestal niet toegestaan.
Risico’s voor Nederlandse gebruikers
Nederlandse bedrijven en overheden willen vaak een Nederlandstalig model dat lokaal draait. Distillatie lijkt aantrekkelijk om snel kwaliteit te bereiken met beperkte rekenkracht. Maar de juridische basis en datakwaliteit moeten eerst op orde zijn.
Inkoopteams doen er goed aan contracten en licenties van AI-diensten expliciet te toetsen op “training op output”. Daarnaast is een herkomstlogboek nodig van alle gebruikte datasets en modelversies. Zo blijft naleving aantoonbaar bij audits of een melding bij de Autoriteit Persoonsgegevens.
Ook is een robuuste evaluatieset nodig met echte, Nederlandse casussen uit domeinen als zorg, onderwijs of gemeenten. Daarmee worden schijnbare winsten door synthetische data zichtbaar gecorrigeerd. Het voorkomt teleurstellingen bij productiegebruik.
Wat nu echt ontbreekt
De sector mist breed geaccepteerde standaarden voor datapaspoorten en modelprovenance. Zonder zo’n paspoort blijft onduidelijk of een studentmodel vooral op AI-teksten is getraind. Dat belemmert vergelijkbaarheid en toezicht.
Daarnaast ontbreken Europese, domeinspecifieke benchmarks die manipulatiebestendig zijn. Nieuwe toetsen moeten variatie en actualiteit waarborgen, en publiek beheer hebben. Zo kan de overheid betrouwbaarder inkopen en toezicht houden.
Tot slot is er behoefte aan heldere richtlijnen voor wat “retraining” betekent onder de AI-verordening. Distillatie, fine-tuning en instructietraining lopen nu door elkaar in beleid en praktijk. Duidelijkheid helpt labs, toezichthouders en gebruikers om risico’s eerlijk te verdelen.