Een 19-jarige Nederlandse student presenteerde deze week een eenvoudige aanpassing voor grote taalmodellen. De methode levert merkbaar snellere en vaak betere antwoorden op. Ontwikkelaars van AI‑bedrijven reageerden verrast door de eenvoud. De vondst is relevant voor chatbots zoals ChatGPT, Gemini en Claude, en raakt ook aan de Europese AI-verordening gevolgen overheid door lagere kosten en betere documentatie.
Simpele vondst verrast sector
De student liet zien dat een kleine ingreep in de manier waarop modellen tekst verwerken al veel scheelt. Het gaat niet om nieuwe hardware of een geheel nieuw model, maar om slimmere instellingen en ordening van de invoer. Daardoor hoeft het systeem minder te rekenen en maakt het minder herhalingen. Voor gebruikers voelt dat als sneller en duidelijker antwoord.
De aanpak werd online gedeeld, inclusief korte uitleg en voorbeeldcode. Ontwikkelaars uit de AI‑gemeenschap konden het daardoor meteen proberen. Reacties wezen op lagere rekentijd en stabieler gedrag bij langere gesprekken. Het trok de aandacht omdat het idee eenvoudig is en weinig aanpassing vereist.
De truc is in principe toepasbaar op gangbare modellen. Dat geldt voor open modellen zoals Meta Llama 3 en Mistral, maar ook voor diensten als ChatGPT van OpenAI en Gemini van Google. De kern: het model krijgt netter gestructureerde input en hoeft minder onnodige context mee te slepen. Dat verkleint de foutkans en bespaart rekenkracht.
Hoe de truc werkt
De methode draait om het slimmer omgaan met het contextvenster, de tijdelijke “geheugenruimte” van een taalmodel. Door vaste instructies te scheiden van wisselende vragen, blijft de invoer compacter. Ook worden herhalingen voorkomen, bijvoorbeeld door kortere systeemboodschappen. Het model verwerkt dan minder tokens en blijft beter bij het onderwerp.
Een token is een klein stukje tekst, zoals een woorddeel. Taalmodellen lezen en schrijven in tokens. Minder tokens betekent meestal lagere kosten en snellere antwoorden.
Daarnaast helpt het om tussenstappen kort te houden. Denk aan beknopte redeneerstappen in plaats van lange uitweidingen. Zo blijft het resultaat begrijpelijk en neemt de kans op afdwalen af. Dit werkt vooral goed bij klantenservice, zoekvragen en samenvattingen.
De student liet zien dat simpele regels al veel effect hebben. Het gaat bijvoorbeeld om vaste formats voor vragen, duidelijke rolverdeling en het beperken van onnodige voorbeeldteksten. Zulke “prompt‑hygiëne” was al bekend, maar de combinatie en uitvoering bleken hier praktisch en doeltreffend. Dat verklaart de verraste reacties uit de sector.
Open bron versnelt bewijs
De code en uitleg zijn als open bron gedeeld via platforms als GitHub. Dat maakt het makkelijk om te testen met eigen data en workflows. Teams kunnen de aanpassing opnemen in frameworks zoals Hugging Face en vLLM. Zo ontstaat snel bewijs wat wel en niet werkt.
Voor start‑ups is dit interessant omdat het directe kosten scheelt. Minder tokens en kortere doorlooptijd betekenen lagere API‑rekeningen bij diensten als OpenAI en Anthropic. Bedrijven die on‑premise draaien profiteren ook: minder GPU‑uren en lagere energielasten. Dat is belangrijk bij krappe budgetten.
Ook grote organisaties hebben baat bij eenvoudige, herhaalbare verbeteringen. Het verlaagt de drempel om pilots op te schalen naar productie. Bovendien is een kleine ingreep minder risicovol dan het vervangen van een heel model. Het vergroot de kans dat resultaten reproduceerbaar zijn, een eis die steeds vaker wordt gesteld.
Europese AI-verordening gevolgen overheid
In Europa geldt op het moment van schrijven de nieuwe AI‑verordening (AI Act), met verplichtingen rond transparantie, risicoanalyse en documentatie. Een duidelijke, simpele optimalisatie helpt hierbij. Overheden en instellingen kunnen beter uitleggen hoe een systeem tot antwoorden komt. Ook zijn prestaties en kosten makkelijker te onderbouwen in aanbestedingen.
Voor toepassingen in de publieke sector, zoals informatievoorziening en dossieranalyse, telt dat dubbel. Minder tokens betekent minder verwerking van mogelijk gevoelige gegevens. Dat sluit aan bij de AVG, die dataminimalisatie en zorgvuldige verwerking vereist. Het verkleint meteen de kans op datalekken en onnodige logbestanden.
Daarnaast stimuleert de AI‑verordening robuuste tests en monitoring. De nu gedeelde aanpak is eenvoudig te benchmarken en te auditen. Organisaties kunnen per taak meten wat het oplevert en dit vastleggen in hun technische documentatie. Dat maakt de stap naar conformiteit en interne goedkeuring sneller.
Grenzen en volgende stappen
De methode verbetert niet alles. Bias, verouderde kennis en feitelijke fouten verdwijnen er niet mee. Voor complexe redeneringen of specialistische taken blijft modelkeuze en training doorslaggevend. Ook moet per domein worden getest of de kortere tussenstappen geen nuance kosten.
Ook speelt intellectueel eigendom een rol. Wie de aanpak inzet met externe API’s, moet opletten welke prompt‑ en loggegevens worden opgeslagen. Leveranciers zoals OpenAI, Google en Anthropic bieden instellingen voor datagebruik, maar die vragen om beheer. Encryptie en beperkte retentie helpen om aan de AVG te voldoen.
De volgende stap is gestandaardiseerde evaluatie, bijvoorbeeld met open benchmarks en gedeelde scripts. Zo wordt duidelijk in welke scenario’s de winst het grootst is. Nederlandse bedrijven en kennisinstellingen kunnen dit snel oppakken via publieke GitHub‑repo’s en Europese projecten. Denk aan pilots in zorg, onderwijs en gemeentelijke loketten, waar heldere, betaalbare algoritmen het verschil maken.