Google DeepMind har præsenteret Genie 4, en model til at skabe interaktive verdener, som også genererer lyd. Brugeren kan ændre en scene med tekst undervejs, mens modellen fortsætter simulationen. Præsentationen kom den 27. oktober, og den første adgang er begrænset til udvalgte testere.

Det konkrete fremskridt i præsentationen er kombinationen af løbende billedgenerering, påvirkelige scener og lyd som musik, miljølyde og dialog. Det gør teknologien interessant til tidlige kreative forsøg. Samtidig fremhæver DeepMind selv fejl i sammenhæng, tekst og længere forløb, som begrænser, hvad simulationerne kan bruges til.

Brugeren kan ændre forløbet

En færdig video følger det forløb, den allerede har fået. I en interaktiv simulation er brugerens næste handling en del af opgaven: Hvis kameraet drejes eller vejret ændres, skal systemet frembringe en ny fortsættelse, der passer til situationen.

Ifølge DeepMind kan Genie 4 modtage sådanne ændringer gennem almindeligt sprog. Virksomheden viser blandt andet miljøer, hvor brugeren navigerer med tastatur og styrer kameraet, mens tekstbeskeder ændrer det, der sker. De offentliggjorte optagelser er virksomhedens egne demonstrationer, og sekvenserne er forkortet.

Forskellen er væsentlig for en kreativ arbejdsgang. Man kan forestille sig at afprøve en kamerabevægelse og derefter ændre en detalje uden først at beskrive hele scenen igen. Det er et muligt anvendelsesscenarie, ikke dokumentation for, at et færdigt filmværktøj allerede fungerer på den måde for alle brugere.

Lyden bliver en del af verdenen

DeepMind oplyser, at lyd dannes sammen med simulationen. Det omfatter både baggrundens lyde og figurer, som kan tale. Gemini-modeller bidrager til systemets fortolkning og planlægning, mens Genie skaber den umiddelbare audiovisuelle fortsættelse.

For en beskuer gør lyd mere end at lægge stemning oven på et billede. Hvis man bevæger sig gennem et miljø, forventer man eksempelvis, at det, man hører, passer til det, der foregår. Netop derfor er lydens tidslige og rumlige sammenhæng en vigtig prøve for en interaktiv oplevelse.

En demonstration af en scene med dialog fortæller dog ikke alene, hvor ofte dialogen forbliver relevant, eller hvordan systemet reagerer på uventede indgreb. Det kræver afprøvning på mange forskellige forløb. En vellykket optagelse og stabil adfærd gennem gentagne forsøg er forskellige former for dokumentation.

Få minutter og detaljer, der kan flytte sig

På modellens officielle side beskriver DeepMind en begrænsning på nogle få minutters sammenhængende interaktion. Visuelle detaljer og genstandes vedvarende tilstedeværelse kan ændre sig, især ved længere forløb eller flere komplekse ændringer. Virkelige steder gengives heller ikke med fuld nøjagtighed.

Virksomheden nævner desuden udfordringer med læselig tekst, præcis lyd og samspil mellem flere aktører. Det sætter en praktisk grænse: Et miljø kan se overbevisende ud i øjeblikket, selv om det ikke bevarer de samme egenskaber, når man vender tilbage til et sted.

Det betyder meget, hvis man vil sammenligne to handlinger. Skal man undersøge forskellen mellem at gå til venstre og til højre, må andre forhold helst være sammenlignelige. Ellers bliver det vanskeligt at afgøre, om en ændring skyldes handlingen eller simulationens egen variation.

Robotforsøg kræver mere end realisme

DeepMind peger på robotter og AI-agenter som mulige fremtidige anvendelser. Idéen er at lade dem afprøve handlinger i mange forskellige virtuelle omgivelser. Modellens side viser også tidlige eksperimenter, hvor en Gemini-model leverer en plan til simulationen.

Den mulighed skal vurderes efter formålet. En visuel skitse behøver ikke gengive alle materialers egenskaber korrekt. Et forsøg, der skal sige noget om en fysisk robots adfærd, stiller andre krav til eksempelvis kontakt, bevægelse og konsekvenser af handlinger. Fotorealisme er derfor ikke i sig selv en fysisk validering.

Adgangen er foreløbig en forskningsforhåndsvisning. DeepMind varsler senere udvidelse gennem Project Genie for Google AI Ultra-abonnenter og tidlige partnere til Gemini API og Google AI Studio. Den konkrete nyhed er et nyt interaktivt system med indbygget lyd; den afgørende praktiske prøve bliver, hvor stabilt brugerne kan ændre og udforske verdenen over tid.

Kilder og videre læsning

Har du fundet en fejl? Læs om rettelser.