Beeld: AI-gegenereerd
Runway toont deze week onderzoek naar het maken van video in real time. Het bedrijf wil dat gebruikers video streamen terwijl ze die beschrijven, in plaats van wachten op een eindresultaat. Op 20 september 2026 geeft Runway daar nieuwe details over.
De aanpak moet de tijd tot het eerste frame verkorten en zo wachten vervangen door direct sturen. Runway koppelt dit aan lagere kosten per output en ziet het als een stap naar interactieve toepassingen. Het bedrijf bespreekt dezelfde lijn sinds maart en bouwt voort op eigen videomodellen.
Van wachten naar sturen in real time
Runway zegt dat mensen nu de meeste tijd verliezen aan het maken en bijwerken van video. Een videoĀmodel draait vandaag in stappen: prompt invoeren, seconden of minuten wachten, dan een vast resultaat. Is dat niet goed, dan begint het proces opnieuw. De voorgestelde werkwijze zet dat om naar een live stroom van frames die doorlopen terwijl de maker typt of spreekt.
De kern is direct feedback geven. Daardoor stuurt de gebruiker vooral actief bij, in plaats van wachten. Runway noemt dit het dichten van de kloof tussen idee en uitvoering. Een tekstmodel kan zichzelf midden in een zin corrigeren. Een videomodel bouwt elk frame op het vorige en kleine fouten kunnen zo uitgroeien tot grote vervormingen. De oplossing die Runway schetst is trainen op eigen uitkomsten, niet alleen perfecte voorbeelden. Het model leert dan afwijkingen te dempen in plaats van ze te versterken.
Runway besprak deze real-time aanpak in maart voor het eerst met Runway Characters. Enkele weken geleden liet het bedrijf Solaris zien. Dat systeem bouwt gebruikersĀinterfaces frame voor frame met Gen-4.5 en reageert op kliks of stem. De lijn is zo steeds dezelfde: direct reageren en sturen op ieder frame, zonder pauze tussendoor.
GWM-1 en Solaris sturen elk frame
De techniek achter het nieuwe werk steunt op GWM-1, de eerste General World Model van Runway. Het bedrijf introduceerde GWM-1 in december 2025. GWM-1 bouwt door op Gen-4.5 en maakt video frame voor frame. Het model accepteert camerabewegingen, robotĀcommando’s of audio als besturing. Hierdoor verschuift de nadruk van een enkele prompt naar continue aansturing over tijd.
Solaris werkt volgens hetzelfde frame-voor-frame principe, maar dan voor schermen in plaats van scĆØnes. Het systeem reageert op kliks of stem en past de interface direct aan. Daarmee laat Runway zien dat dezelfde benadering ook buiten pure video werkt. De gekozen inputkanalen, zoals audio of commando’s, vormen besturing in plaats van alleen beschrijving.
Volgens Runway verschuift bij real-time generatie ook de rekenlast. Niet langer zit het zwaartepunt bij training. Het zit bij gebruik, omdat het model elk frame snel genoeg moet maken om afspelen bij te houden. Dat moet bovendien draaien op hardware die tegelijk meerdere sessies bedient. Runway toonde in maart een research preview met Nvidia op de GTC-conferentie. Die draait op het Vera Rubin-platform en mikt op een eerste frame in minder dan 100 milliseconden.
Kosten per output dalen door snelheid
Runway koppelt de keuze voor directe generatie aan kosten. Snellere modellen gebruiken minder GPU-tijd en zijn dus efficiƫnter. Volgens het bedrijf bepaalt de kostprijs per output bij een gegeven kwaliteit welke toepassingen economisch haalbaar zijn. Snellere eerste frames en doorlopend streamen drukken die grens. Toepassingen die eerder niet uit konden, komen zo binnen bereik.
Die redenering raakt ook aan kwaliteit over tijd. Een videomodel dat zichzelf kan herstellen terwijl het draait, voorkomt dat kleine fouten doorslaan naar grote afwijkingen. Runway noemt dit het centrale probleem van LLM-achtige aanpakken voor video. De gekozen trainingsmethode, met blootstelling aan eigen uitkomsten, moet zorgen voor stabiliteit tijdens langere runs. Startup Decart gebruikt een vergelijkbare aanpak voor MirageLSD. Dat model kreeg tijdens training bewust onjuiste of vervormde beelden te zien.
Concurrenten laten eigen cijfers zien om stabiliteit te onderbouwen. Google DeepMind zegt dat wereldmodel Genie 3 interactieve werelden enkele minuten consistent houdt bij 24 frames per seconde in 720p. Zulke getallen geven een gevoel voor hoelang een model zonder ontsporen kan blijven reageren. Die maat is cruciaal als de gebruiker elk frame bijstuurt en de output niet vaststaat.
Toepassingen en concurrenten in beeld
Runway ziet interactieve toepassingen als het grootste langetermijnĀgeval voor door AI gemaakte media. Onderwijs, gaming en robotica vragen om video die net zo snel reageert als de kijker. Het bedrijf noemt ook het toetsen van gedrag van robots en autonome voertuigen. Dat vergt werelden die in real time genereren en meteen reageren op randgevallen.
Runway kondigde eerder GWM Robotics aan, een variant van GWM-1. Die maakt synthetische trainingsdata voor robots. Zo’n datastroom moet systemen laten oefenen op situaties die zelden voorkomen. Waymo volgt een soortgelijke route met het Waymo World Model. Dat is gebaseerd op Genie 3 en aangepast voor verkeer op de weg. Daarmee kan Waymo scenario’s simuleren die de eigen vloot nooit zag, zoals een ontmoeting met een olifant, een tornado of een overstroomde woonwijk.
Volgens Waymo rijdt de Waymo Driver miljarden mijlen in virtuele werelden voordat zulke scenario’s op de openbare weg komen. Dat illustreert het belang van consistente, interactieve omgevingen die blijven reageren. Voor Runway is dit dezelfde rode draad. Het bedrijf wil video die mensen en machines direct kunnen sturen, zonder pauzes tussen prompt en resultaat.
Runway heeft nog geen tijdlijn voor beschikbaarheid genoemd.