Nvidia brengt deze week een nieuw opensource-AI-model uit dat op één gpu kan draaien. Het model is wereldwijd beschikbaar via online modelcatalogi en is bedoeld om lokaal te gebruiken en aan te passen. Ontwikkelaars en bedrijven kunnen het systeem naar eigen taak fijnafstellen. Dit nieuws raakt ook aan regels uit de Europese AI-verordening en de AVG, wat gevolgen heeft voor overheid en bedrijfsleven.
Model draait lokaal
Het nieuwe algoritme van Nvidia is zo ontworpen dat het op één grafische kaart werkt. Een gpu is een chip die veel kleine berekeningen tegelijk doet en daardoor geschikt is voor AI. Daardoor kunnen organisaties het model op een eigen pc of server draaien. Dat scheelt kosten voor cloudgebruik en geeft meer controle over data.
Het model is te downloaden via de platforms van Nvidia en grote modelhubs. De gewichten, dat zijn de getrainde waarden in het netwerk, zijn openbaar. Ontwikkelaars kunnen het direct inzetten voor teksttaken, zoals samenvatten, classificeren en beantwoorden van vragen. Voor zwaardere toepassingen blijft extra hardware of een cloudoptie mogelijk.
Nvidia richt zich met deze stap op teams die snel willen testen en bouwen. Denk aan mkb, onderzoeksinstellingen en overheden met strikte dataregels. Een lokale installatie maakt experimenteren eenvoudiger, omdat er minder afhankelijkheid is van externe diensten. Het verlaagt ook de drempel voor Europese organisaties die data soeverein willen houden.
Aanpasbaar voor bedrijven
Het model is aanpasbaar via fijnafstelling, ook wel fine-tuning genoemd. Daarbij leert het systeem bij op een kleine, taakgerichte dataset. Zo kun je het model beter laten presteren in een domein, zoals juridische teksten, zorg of klantenservice. Dit verkort ontwikkeltijd en beperkt de hoeveelheid data die je nodig hebt.
Fijnafstelling is het bijleren op een beperkte, taakgerichte dataset, zonder het hele model opnieuw te trainen.
Bedrijven kunnen kiezen voor lichte methoden die minder rekenkracht vragen. Een voorbeeld is het toevoegen van kleine extra lagen die je apart traint en later koppelt aan het basismodel. Deze aanpak past bij teams die met beperkte hardware werken. Het biedt toch maatwerk zonder hoge kosten.
Nvidia levert doorgaans voorbeeldscripts en modelkaarten mee. Een modelkaart is een fiche met informatie over training, prestaties en beperkingen. Dat helpt ontwikkelaars om het systeem verantwoord in te zetten. Het maakt ook duidelijk voor welke taken het model niet geschikt is.
Prestaties en beperkingen
Een model dat op één gpu draait, is meestal lichter dan topmodellen in de cloud. Het scoort vaak goed op snelheid en kosten. Maar het kan minder sterk zijn in complexe redeneringen of wereldkennis. Voor kritieke toepassingen blijft grondige validatie nodig.
Generatieve systemen kunnen nog steeds hallucineren, dat is het verzinnen van feiten. Ook kunnen ze bias vertonen als de trainingsdata scheef zijn. Daarom zijn tests met realistische Nederlandse en Europese data belangrijk. Denk aan rechtspraak, publieke informatie en medische richtlijnen.
Organisaties doen er goed aan prestatiebenchmarks te draaien op eigen use-cases. Meet niet alleen nauwkeurigheid, maar ook robuustheid en fouttypen. Leg vooraf vast wanneer een mens moet meekijken en bijsturen. Zo blijft de inzet veilig en uitlegbaar.
Europese AI-verordening geldt
De Europese AI-verordening (AI Act) stelt op het moment van schrijven eisen aan aanbieders en gebruikers van generatieve modellen. Open beschikbaar zijn geeft soms verlichting, maar ontslaat niet van plichten. Voor aanbieders van generieke AI (GPAI) horen daar modelkaarten, veiligheidsmaatregelen en samenvattingen van trainingsdata bij. Zogenoemde systemische modellen krijgen nog strengere regels, maar dit type enkel-gpu-model valt daar doorgaans niet onder.
Publieke instellingen en leveranciers in de EU moeten beoordelen in welke risicoklasse hun toepassing valt. Een chatbot voor algemene vragen is meestal laag risico. Een triagetool in de zorg of een wervingssysteem kan hoog risico zijn. Hoe hoger het risico, hoe strenger de documentatie- en testplichten.
Voor Nederlandse overheden en onderwijsinstellingen is dit praktisch van belang bij inkoop. Vraag naar modelkaarten, evaluaties en herkomst van trainingsdata. Leg vast hoe updates en beveiligingspatches worden doorgevoerd. En zorg voor exit-mogelijkheden als de oplossing niet voldoet aan wet- en regelgeving.
Privacy en AVG-eisen
Bij fijnafstelling met eigen data geldt de AVG. Verwerk zo min mogelijk persoonsgegevens en versleutel opslag en transport. Bepaal je grondslag, bijvoorbeeld toestemming of gerechtvaardigd belang, en leg dit vast. Verwijder trainingsdata als ze niet meer nodig zijn.
Een lokaal model helpt om data binnen de organisatie te houden. Dat beperkt overdracht naar derde landen en verkleint privacyrisico’s. Toch blijft auditing nodig, zoals toegangsbeheer en logboeken. Controleer ook of geanonimiseerde data echt niet herleidbaar zijn.
Voor gevoelige sectoren is een DPIA raadzaam, een gegevensbeschermingseffectbeoordeling. Die brengt risico’s in kaart en beschrijft maatregelen. Denk aan synthetische data voor training, met extra controles op kwaliteit. En aan menselijk toezicht bij beslissingen die burgers raken.
Kansen voor Nederlandse sectoren
Voor het mkb maakt een enkel-gpu-model snelle prototyping haalbaar. Denk aan automatische offertes, documentanalyse of interne zoekassistenten. In de zorg kan het samenvatten van dossiers lokaal en veilig. In het onderwijs kan het helpen bij feedback op teksten, zonder dat studentdata de organisatie verlaten.
Overheden kunnen het model inzetten voor het doorzoeken van beleidsstukken of het opstellen van conceptantwoorden. Dat kan binnen bestaande IT-kaders en zonder cloudafhankelijkheid. Belangrijk is wel om menselijke controle te houden op feitelijke juistheid en toon. En om modellen te trainen op actuele Nederlandse bronnen.
Voor Europese leveranciers ontstaan nieuwe diensten rond implementatie en beheer. Bijvoorbeeld beheerde on-premise pakketten met monitoring en updates. Dat past bij de behoefte aan digitale soevereiniteit in de EU. En sluit aan op de vraag naar naleving van de Europese AI-verordening en de AVG.