Инструментът за изкуствен интелект изобразява 2D снимки като всеобхватни 3D сцени за секунди

На конференцията за разработчици на GTC миналата седмица, Nvidia разкри изящен инструмент за изкуствен интелект, който прави куп 2D снимки на една и съща сцена от различни ъгли и почти моментално ги трансформира в триизмерно цифрово изобразяване.

Напредъкът се основава на изследвания на UC Berkeley, Google и UC San Diego, които използват невронни мрежи за изобразяване на фотореалистични 3D изображения на сцени, използвайки малък набор от 2D неподвижни изображения при различни ъгли на гледане като източник. Инструментът за полета на невронното излъчване – или NeRF – по същество оценява всяка информация за цвят/светлина на сцената, която липсва от входните данни, и попълва празните места.

Въпреки че ранните модели на NeRF можеха да произвеждат изобразени сцени за броени минути, обучението на невронните мрежи отне значително повече време. Разработката на Nvidia Instant NeRF по същество намалява както времето за обучение, така и времето за изобразяване “с няколко порядъка” и може да тренира модела върху няколко десетки неподвижни изображения (заедно с данни за ъгъла на камерата) само за няколко секунди и след това да изобрази 3D сцена при 1920 x 1080 пиксела десетки милисекунди по-късно.

Това стана възможно благодарение на разработването на нов метод за кодиране на входа, наречен хеш мрежово кодиране с много разделителна способност, който е оптимизиран за графични процесори на Nvidia и позволява „висококачествени резултати с помощта на малка невронна мрежа, която работи бързо“.

„Ако традиционните 3D представяния като полигонални мрежи са подобни на векторни изображения, NeRFs са като растерни изображения: те улавят плътно начина, по който светлината излъчва от обект или в рамките на сцена“, каза вицепрезидентът на Nvidia по графичните изследвания, Дейвид Любке. „В този смисъл Instant NeRF може да бъде толкова важен за 3D, колкото цифровите камери и компресията на JPEG са били за 2D фотографията – значително увеличавайки скоростта, лекотата и обхвата на 3D заснемане и споделяне.“

Компанията предполага, че технологията може да намери приложение при обучение на роботи и самоуправляващи се автомобили за по-добро разбиране на обекти в реалния свят, както и за създаване на съдържание за виртуална реалност, видеоконферентна връзка, цифрово картографиране, архитектура и забавление. Видеото по-долу има още.

Източник: Nvidia