Framtidens Polaroid: NVIDIAs nya neurala nätverk förvandlar 2D-bilder till 3D-modeller

NVIDIA Company infördes dess nya neurala nätverk, kallat Instant NeRF. Hon limmar omedelbart en serie 2D-foton och avslutar bilden till en tredimensionell scen. Som ett resultat blir ett objekt från en platt bild tredimensionellt.

Detta neurala nätverk har kallats "Framtidens Polaroid" eftersom den färdiga 3D-modellen erhålls på några sekunder. Som en hyllning till varumärket Polaroid har NVIDIA Research återskapat Andy Warhols ikoniska fotografi i 3D.

Utvecklarna noterar: Instant NeRF använder invers rendering för att approximera beteendet hos ljus i den verkliga världen, vilket gör att en 3D-scen kan rekonstrueras från flera 2D-bilder tagna under olika hörn.

Det tar bara några sekunder för en modell att lära sig av dussintals stillbilder. Också neuralt nätverk bör ta hänsyn till data om kameravinklarna från vilka bilderna togs.

Tekniken fungerar bäst med ramar där det finns ett minimum av rörelse och endast ett huvudobjekt. Annars kan 3D-scenen som skapats av artificiell intelligens vara suddig.

Instant NeRF kan användas för att skapa avatarer eller scener för virtuella världar, fånga videokonferensdeltagare och deras miljö i 3D och rekonstruera scener för digitala 3D-kartor. Även om det är omöjligt att testa tekniken, men i framtiden kan NVIDIA mycket väl öppna åtkomst till den.