AI-systemen moeten tijdens een opdracht door een bevoegd persoon gepauzeerd of uitgeschakeld kunnen worden. Daarvoor pleit Microsoft-topman Satya Nadella. Hij wil dat bedrijven beveiliging en controle buiten het AI-model organiseren, zodat ze kunnen ingrijpen wanneer het misgaat.
Nadella beschreef zijn voorstel op zaterdag 10 oktober in een bericht op X. Volgens hem moeten bedrijven opnieuw bekijken hoe ze vertrouwen in AI opbouwen.
“Zie het als een noodrem”, schrijft Nadella.
Beveiliging mag niet van het model zelf afhangen
Nadella wil het AI-model scheiden van de software die zijn werkzaamheden aanstuurt. Die software bepaalt bijvoorbeeld welke hulpmiddelen het model kan gebruiken en welke handelingen het mag uitvoeren.
Ook veiligheidsmaatregelen moeten volgens hem buiten het model worden geplaatst. De gedachte: als een AI-systeem ongewenst gedrag vertoont, moet een afzonderlijke controle kunnen voorkomen dat het verdergaat.
Nadella stelt dat bedrijven vanaf het begin rekening moeten houden met een model dat mogelijk is aangetast. Dat is een uitgangspunt voor het ontwerp van beveiliging, geen vaststelling dat ieder model daadwerkelijk gehackt is.
Iedere belangrijke actie moet te controleren zijn
Naast een noodrem vraagt Nadella om een registratie van iedere betekenisvolle handeling. Die moet begrijpelijk zijn voor mensen en beschermd tegen manipulatie.
Bij een AI-assistent die bestanden aanpast of externe diensten gebruikt, zou zo’n registratie inzicht moeten geven in wat er is gebeurd. Een bevoegd persoon moet vervolgens kunnen ingrijpen terwijl de opdracht nog loopt.
Die vraag naar controle speelt breder. Eerder berichtten we over een oud-medewerker van OpenAI en Anthropic die waarschuwt dat AI buiten menselijke controle kan raken.
Wat betekent dit voor Nederlandse bedrijven?
Het voorstel wordt vooral relevant wanneer AI daadwerkelijk handelingen uitvoert. Denk aan een assistent die klantgegevens bijwerkt, bestanden wijzigt of berichten verstuurt.
Onze kijk: bepaal vooraf wie zo’n systeem kan stoppen en hoe die persoon ziet wat het aan het doen is. Een knop om een gesprek te sluiten biedt pas voldoende controle als daarmee ook de achterliggende werkzaamheden stoppen.
Nadella kondigt in zijn bericht geen concrete nieuwe Microsoft-functie aan. Hij schetst principes voor het bouwen van beter beheersbare AI-systemen: beperkte bevoegdheden, controleerbare acties en de mogelijkheid om tussentijds in te grijpen.