Het nieuwe AI-model Mythos zorgt deze week voor onrust in de techwereld. Een start-up presenteerde het systeem als ‘supersterk’, met mogelijk grote impact op werk en veiligheid. Nederlandse experts vragen om bewijs en onafhankelijke tests. De inzet is hoog, ook door de Europese AI-verordening en de gevolgen voor overheid en bedrijven die zulke algoritmen willen gebruiken.
Claim rond Mythos roept vragen
Mythos wordt neergezet als een uitzonderlijk krachtig model dat complexe taken kan oplossen. Het bedrijf achter het systeem spreekt over doorbraken in redeneren en planning. Zulke claims klinken aantrekkelijk, maar vragen om controleerbare data. Zonder openbaar bewijs blijven het marketingbeloften.
Het gaat vermoedelijk om een algemeen inzetbaar model, ook wel general-purpose AI genoemd. Dat is software die voor veel doelen tegelijk gebruikt kan worden. Juist bij dit soort systemen is het lastig om prestaties te toetsen. De context van gebruik bepaalt vaak of een algoritme echt werkt.
In online demo’s zien modellen er vaak indrukwekkend uit. Toch zijn demo’s een vorm van vooraf gekozen voorbeelden. Ze zeggen weinig over robuustheid onder druk. Voor beleid en inkoop is reproduceerbaar bewijs nodig, niet alleen showcases.
Experts waarschuwen voor hype
Onderzoekers in Nederland en daarbuiten noemen de taal rond Mythos overdreven. Woorden als ‘supersterk’ vergroten verwachtingen, maar verduidelijken de techniek niet. Experts willen onafhankelijke benchmarks en transparante documentatie. Pas dan is een eerlijke vergelijking met bestaande systemen mogelijk.
Een benchmark is een gestandaardiseerde toets die één vaardigheid meet, zoals redeneren of begrip. Veel modellen worden hierop getraind, waardoor scores kunnen vertekenen. Echte waarde blijkt pas in onbekende situaties buiten de trainingsdata. Ook veiligheidstesten, zoals het misleiden van het systeem, horen daarbij.
Voor de samenleving tellen betrouwbaarheid en controleerbaarheid zwaarder dan ruwe kracht. Denk aan fouten in medische triage, onderwijsadvies of kredietbeoordeling. Zonder heldere foutmarges en herstelmogelijkheden groeit het risico op schade. Dat geldt zeker als organisaties blind varen op marketingclaims.
“Benchmarks meten een deelvaardigheid. Ze zeggen weinig over veiligheid, context en betrouwbaarheid in de praktijk.”
Bewijs ontbreekt voor ‘superkracht’
Op het moment van schrijven is onduidelijk welke datasets, trainingsmethoden en veiligheidsmaatregelen Mythos gebruikt. Zonder modelkaart (korte technische handleiding met herkomst, beperkingen en risico’s) blijft de herleidbaarheid beperkt. Ook ontbreekt inzicht in energiegebruik en copyright-compliance. Die informatie is nodig voor zowel ethiek als wetgeving.
Belangrijk is of het model standhoudt tegen zogeheten red-teams. Dat zijn teams die actief zoeken naar misbruik en ongewenste uitkomsten. Werkt het systeem nog goed bij misleidende vragen, ruis of domme fouten van de gebruiker? Zulke robuustheidstesten bepalen of een model geschikt is voor serieuze inzet.
Daarnaast moet duidelijk zijn hoe data worden verwerkt en bewaard. Verwerkt Mythos bijzondere persoonsgegevens, en zo ja, hoe worden die beschermd? De AVG vereist dataminimalisatie en passende beveiliging, zoals versleuteling. Zonder antwoorden lopen organisaties juridische en reputatierisico’s.
Europese AI-regels begrenzen risico
De Europese AI-verordening (AI Act) legt op het moment van schrijven plichten op aan aanbieders van general-purpose AI. Denk aan technische documentatie, samenvattingen van trainingsdata en maatregelen tegen misbruik. Voor zeer capabele modellen met systemisch risico gelden zwaardere verplichtingen. Toezicht komt bij het nieuwe European AI Office en nationale autoriteiten.
Voor Nederlandse partijen speelt ook de AVG bij inzet van zulke systemen. Overheden en bedrijven moeten vooraf beoordelen of persoonsgegevens nodig zijn. Vaak is een Data Protection Impact Assessment (DPIA) verplicht. Zonder goede grondslag en beveiliging is inzet simpelweg niet toegestaan.
Publieke instellingen moeten daarnaast rekening houden met aanbestedingsregels en auditbaarheid. Besluiten die burgers raken moeten uitlegbaar en toetsbaar zijn. Zwarte doos-systemen zonder transparantie passen daar slecht bij. Dat vergroot de drempel voor gebruik van onduidelijke modellen zoals Mythos.
Advies voor Nederlandse organisaties
Vraag eerst om onafhankelijke evaluaties en een volledige modelkaart van Mythos. Eis inzicht in trainingsdata, herkomst en copyrightafhandeling. Controleer of er red-teamrapporten en veiligheidsevaluaties beschikbaar zijn. Zonder die basis is implementatie onverstandig.
Voer een DPIA uit en beperk gegevens tot wat strikt noodzakelijk is. Sla gevoelige data versleuteld op en gebruik duidelijke bewaartermijnen. Stel contractueel vast wat er met gebruikersdata gebeurt. Zorg voor logging, menselijke toetsing en een noodplan bij fouten.
Test het model in een afgesloten proefopstelling met realistische scenario’s. Meet foutpercentages, bias en robuustheid onder stress. Vergelijk de uitkomsten met alternatieven, inclusief open modellen die lokaal draaien. Kies pas na die vergelijking voor brede uitrol, of juist niet.
Voor wie als individu met Mythos wil experimenteren: deel geen vertrouwelijke informatie. Controleer de gebruiksvoorwaarden en dataverwerking. Beoordeel antwoorden kritisch en verifieer bronnen. Wacht bij grote beloftes altijd op onafhankelijk bewijs, niet op marketing.