Нейросеть NVIDIA Instant NeRF за несколько секунд превращает статичные фотографии в трёхмерные объекты

Компания NVIDIA представила свою версию нейросети NeRF (Neural Radiance Field), которая позволяет всего из пары десятков статичных 2D-фотографий, сделанных под разными углами, буквально за секунды создавать объёмное трёхмерное изображение. 

Источник изображения: NVIDIA

Сама нейросеть NeRF была разработана другими исследователями в 2020 году. NVIDIA её улучшила и представила свою версию, получившую название Instant NeRF. По словам компании, их решение является самым быстрым среди подобных. Как и прочие нейросети NeRF, представленная NVIDIA Instant NeRF создаёт трёхмерное изображение сцены на базе фотографий, сделанных под разными углами. Чем больше объектов требуется перенести в трёхмерное пространство, тем больше необходимо сделать статичных фотографий, в противном случае конечный результат будет обладать эффектом размытости.

В NVIDIA объясняют, что ранние версии нейросети NeRF могли отрисовывать трёхмерные сцены за несколько минут. Однако необходимое для этого обучение нейросети могло занимать часы. Версия Instant NeRF обучается всего за несколько секунд, поскольку использует так называемый метод кодирования хэш-сетки с несколькими разрешениями, который значительно более эффективно использует ресурсы графического процессора. Нейросеть может работать даже с использованием одного графического ускорителя, но лучший результат получается при использовании нескольких видеокарт с тензорными ядрами, которые ускоряют работу ИИ-алгоритмов.

По мнению NVIDIA, технологию Instant NeRF можно использовать для обучения роботов и систем автономного вождения, чтобы те могли более эффективно понимать размеры и формы объектов реального мира. Компания также видит потенциал использования этой технологии в сферах развлечений и архитектуры, где она могла бы очень быстро генерировать в виртуальной среде 3D-объекты реального мира для последующей доработки со стороны авторов проекта.

3dnews

Хочешь узнать больше - читай отзывы