NVIDIA introducerade ett neuralt nätverk för att generera video efter beskrivning

NVIDIA Company meddelat en ny VideoLDM AI-modell som skapar korta videor baserade på text. Den har utvecklats i samarbete med forskare vid Cornell University.

VideoLDM tar hänsyn till upp till 4,1 miljarder parametrar, varav 2,7 miljarder är tränade på video. Genererade klipp kan vara upp till 2048×1280 pixlar vid 24 bildrutor och ha en varaktighet på upp till 4,7 sekunder.

Det neurala nätverket kan skapa både enkla scener med ett par ord i förfrågan och något mer komplext. Några exempel:

• Fyrverkeri.

• En stormtrooper dammsuger stranden.

• En resenär går ensam i en dimmig skog vid solnedgången.

Fler exempel finns på projektets webbplats.

Detta neurala NVIDIA-nätverk är ännu inte allmänt tillgängligt. Den presenterades som en forskningsartikel inom ramen för Conference on Machine Vision and Pattern Recognition.

Utvecklarna noterade imponerande och snabba framsteg i lärandet, men pratade inte om det neurala nätverkets möjliga framtid. Ändå kan vi anta att vi snart kommer att få en fullfjädrad videoanalog midjourney.