Beeld: AI-gegenereerd
Onderzoekers van Google en DeepMind presenteerden op 19 september Dream-RSI, een methode die AI-agenten sneller laat zoeken met eerdere pogingen. De aanpak gebruikt opgeslagen resultaten om nieuwe strategieën te testen zonder dure herhalingen.
De methode richt zich op het beslismoment in een zoekproces. Het model dat oplossingen maakt blijft hetzelfde, maar de manier van zoeken verandert. Dat is relevant voor taken zoals wiskunde, algoritmes en code, waar duizenden pogingen normaal zijn en rekenkosten snel oplopen.
Zoekstrategie leren zonder opnieuw te rekenen
Zelfverbeterende AI-agenten werken in lussen van voorstellen, beoordelen, leren en opnieuw proberen. Bij moeilijke problemen groeit de zoekruimte snel. De agent moet kiezen welke paden kansrijk zijn, wat tegelijk kan, en wat hij laat vallen. Deze fase, exploratie, bepaalt of een zoekactie slaagt of rekenkracht verspilt.
Dream-RSI pakt deze keuzes aan met hergebruik van data uit afgeronde runs. Terwijl de agent zoekt, slaat hij pogingen en uitkomsten op. Daarna speelt hij alternatieve beslissingen af binnen die vastgelegde zoekboom. Hij kijkt dus wat er was gebeurd als hij andere paden eerst had genomen of sommige eerder had gestopt.
Omdat de resultaten al bestaan, hoeft de agent geen oplossingen opnieuw te maken of te beoordelen. Dat bespaart de dure berekeningen van een live-run. De onderzoekers noemen dit dromen. De agent doorloopt duizenden variaties, kiest de beste strategie en gebruikt die in een volgende echte zoekactie. Daarna herhaalt de lus zich.
De kern blijft steeds gelijk: alleen de zoekstrategie verandert, het onderliggende model blijft onaangeroerd. Dat onderscheidt de methode van benaderingen die het model zelf aanpassen, maar tijdens het zoeken vastlopen in vaste keuzes of juist veel extra runs vragen om te leren.
Resultaten met Gemini 3.1 Pro en 3.7 Flash
De onderzoekers testten Dream-RSI met Gemini 3.1 Pro en Gemini 3.7 Flash op acht taken in drie domeinen. Elke vergelijking had een baseline met dezelfde start, maar met een vaste zoekstrategie. Zo konden ze het effect van de aangepaste verkenning meten zonder het model te veranderen.
In een programmeertaak schreef de agent het snelste mogelijke programma voor een statistische berekening die veel in genomica en finance voorkomt. De versie met Dream-RSI versloeg de gevestigde bibliotheken sklearn en glmnet op alle zes testdatasets. Met Gemini 3.1 Pro daalde de gemiddelde looptijd van 3,587 naar 2,931 milliseconden. Het aantal pogingen daalde van 550 naar 317.
De aanpak presteerde ook beter dan een concurrerend systeem, SimpleTES. SimpleTES had 51.200 runs nodig. Dream-RSI haalde het resultaat met 317 pogingen. Dat laat volgens de onderzoekers zien dat strategie-optimalisatie via herhaling in opgeslagen zoekbomen rekenwerk kan uitsparen zonder prestaties te verliezen.
Een vergelijkbaar patroon gold voor wiskundige optimalisatie en het schrijven van efficiënte GPU-kernels. Op twee GPU-taken evenaarde Dream-RSI de prestaties, terwijl het aantal runs tot 2,43 keer lager lag. Op twee andere taken leverde het tot 2,09 keer de performance binnen hetzelfde budget. De onderzoekers benadrukken dat de methode beslissingen herwaardeert binnen bestaande zoekdata en geen volledig nieuwe oplossingen uitvindt tijdens de replay.
Wanneer instructies te veel sturen
In een vervolgonderzoek testten de onderzoekers een tweede manier om zoekgeschiedenissen te gebruiken. Ze vatten de runs samen tot instructies die de agent vertellen waar te zoeken. Op een GPU-taak presteerde de versie mét die instructies slechter dan de versie zonder expliciete aanwijzingen.
De verklaring is dat te specifieke aanwijzingen de zoekruimte te veel kunnen vernauwen. Daardoor verkent de agent minder varianten en mist hij paden die later nuttig blijken. Dream-RSI’s analyse wijst erop dat directe, harde instructies de verkenning op open zoekproblemen kunnen beperken.
Dezelfde analyse liet zien hoe de geleerde strategie de inzet aanpast. Naarmate de prestaties verbeteren, daalt het aantal pogingen eerst. Als de vooruitgang stagneert, voert de agent het zoekwerk weer op. Dat moment viel samen met nieuwe winst, wat past bij het idee dat strategieherziening in stappen werkt.
Deze bevinding is een kanttekening bij het hergebruiken van kennis. Niet elke vorm van kennisoverdracht helpt. Het afspelen van alternatieve beslissingen binnen vastgelegde bomen hield de verkenning breed, terwijl gebalde instructies het zicht juist konden vernauwen.
Plaats in het veld en code beschikbaar
De onderzoekers plaatsen Dream-RSI binnen een bredere golf rond recursieve zelfverbetering. Die aandacht groeide recent. Ontwikkelingen in dit veld zijn een reden dat Anthropic-CEO Dario Amodei waarschuwde voor het tempo van AI-onderzoek.
Google DeepMind introduceerde in 2025 AlphaEvolve met hetzelfde basisprincipe. Daar maakt Gemini Flash codevoorstellen, beoordeelt Gemini Pro ze, en kiest een evolutionair algoritme de beste versies. Dream-RSI werkt een niveau hoger door de zoekstrategie zelf te optimaliseren, los van de modelupdates in die keten.
AutoTTS kiest een verwante route. Een code-agent zoekt daar naar algoritmes in een gesimuleerde omgeving. Die algoritmes bepalen wanneer een taalmodel een redeneerpad start, uitbreidt of staakt. De resulterende methodes verslaan handmatig ontworpen methodes met minder rekenwerk.
Google Research toonde met WikiSkill een andere manier om eerdere runs te hergebruiken. Dat systeem zet mislukkingen en successen om in een wiki met herbruikbare instructies voor de agent. De vervolgresultaten rond Dream-RSI suggereren dat zulke expliciete instructies verkenning op open taken kunnen inperken, afhankelijk van hoe smal ze sturen.
De onderzoekers hebben code en meer details gedeeld op GitHub. Daarmee zijn de experimenten en het afspelen van alternatieve zoekstrategieën te reproduceren zonder de rekenkosten van nieuwe runs. Wie de methode wil toepassen op andere zoekproblemen kan zo de droomfase bovenop bestaande zoekdata testen.