ИИ-модель NVIDIA Neuralangelo способна создавать 3D-объекты из 2D-видео
NVIDIA представила новую модель ИИ под названием Neuralangelo, которая может создавать 3D-копии объектов из 2D-видео, будь то классические скульптуры или обычные грузовики и здания.
В процессе своей работы Neuralangelo выбирает несколько кадров, показывающих объект под разными углами в 2D-видео, чтобы получить четкое представление о его глубине, размере и форме. Затем она создает грубое 3D-представление объекта, затем оптимизирует его, чтобы имитировать детали реального объекта.
Модель способна точно фиксировать мельчайшие детали объекта, который пользователь хочет воссоздать в 3D. К ним относятся текстура, узоры и цветовые вариации. NVIDIA заявляет, что способность Neuralangelo захватывать сложные текстуры, такие как шероховатость черепицы и гладкость мрамора, «значительно превосходит предыдущие методы».
Способностей модели достаточно, чтобы создавать полезные виртуальные объекты из видеороликов, снятых на смартфоны. Это может дать авторам простой способ создания 3D-воспроизведения для своих проектов. Это также быстрое решение: специалисты NVIDIA Research сообщили нам, что инструмент может создавать 3D-сцены в течение двух часов.
Как ожидается, в конечном итоге Neuralangelo позволит разработчикам импортировать детализированные объекты — будь то небольшие статуи или массивные здания — в виртуальную среду для создания видеоигр или промышленных цифровых двойников. NVIDIA заявляет, что модель может создавать крупномасштабные перспективы из кадров с дронов, что облегчает разработчикам воссоздание реальных локаций в играх. У модели есть много других потенциальных сфер применений, в том числе в робототехнике, виртуальной реальности, архитектуре, искусстве.
NVIDIA представит Neuralangelo на конференции Conference on Computer Vision and Pattern Recognition, которая пройдет с 18 по 22 июня в Ванкувере.
Источник: Engadget