Att göra filmsekvenser när man enbart har ljudfiler att tillgå är utmanande, speciellt om filmen även ska se naturlig och trovärdig ut. Nu har forskare på Washingtons universitet däremot kommit en bra bit på vägen, vilket deras senaste projekt är ett bevis på.

Med hjälp av ett artificiellt neuronnät har de nämligen skapat en artificiell filmsekvens av USA.s tidigare president Barack Obama. Genom att mata in 14 timmar av videoinspelningar på expresidenten kunde programmet analysera och därefter skapa munrörelser som matchade ljudinspelningar från andra källor. För att göra filmsekvensen mer naturlig korrigerar systemet även presidentens huvudrörelser samt käkparti vartefter.

Läs också: Därför älskar hackarna Android

Hela processen sker automatiskt, men det krävs en manuelll finjustering för tändernas placering. När detta är gjort klarar programmet dock av att återskapa tändernas rörelser mer realistiskt i resten av videon.

Programmet är däremot inte helt felfritt. Forskarlaget avslöjar att expresidenten ibland fått två hakor av misstag, samt att programmet ännu inte kan matcha vissa ljud med tungans placering, exempelvis när det gäller engelskans "th"-ljud.