WildCAT3D: 3D-сцены из фото онлайн

Новый подход значительно упрощает создание реалистичных трехмерных сцен из обычных фотографий, доступных в интернете. Это открывает широкие возможности для игровой индустрии, виртуального туризма и сохранения культурного наследия.

Исследовательская группа под руководством Хадар Авербух-Элор из Корнеллского университета разработала фреймворк "WildCAT3D", расширяющий возможности синтеза новых видов (NVS) – технологии, позволяющей генерировать реалистичные ракурсы сцены на основе одного снимка.

Основная проблема существующих систем генерации 3D-изображений заключается в необходимости использования небольших, тщательно отобранных наборов данных. WildCAT3D обучается на обширных коллекциях общедоступных изображений, включая любительские снимки, фотографии, сделанные в различных погодных условиях и при разном освещении, а также частично затененные сцены. Именно такие изображения, традиционно считавшиеся слишком неоднородными для использования в моделях, теперь могут применяться для создания реалистичных приложений.

"Основная задача заключалась в разработке диффузионной модели с несколькими видами, способной обучаться на интернет-коллекциях, где наблюдаются значительные вариации освещения, погоды, временных объектов и т.д.", – отмечает Авербух-Элор.

WildCAT3D помогает искусственному интеллекту концентрироваться на ключевых элементах сцены. Система учится распознавать неизменную структуру места, игнорируя переменчивые детали, такие как изменения освещения, погоды или угла съемки.

Этот подход делает технологию гораздо более применимой в реальных условиях. WildCAT3D, получив одну фотографию, может создавать множество реалистичных видов того же места, позволяя "обходить" сцену, запечатленную лишь однажды. Это способствует созданию более насыщенных впечатлений от виртуального туризма, улучшению видеоигр и более точным цифровым реконструкциям реальных объектов.

Технология также позволяет создателям и исследователям легко изучать, как сцена может выглядеть при различных условиях освещения и погоды. Такая гибкость особенно ценна для сохранения культурных памятников, планирования застройки или реставрации, а также для создания реалистичных виртуальных пространств без необходимости дорогостоящих фотосессий в контролируемых условиях.

Авербух-Элор считает, что эта работа послужит толчком к созданию доступных инструментов для генерации высококачественных 3D-сцен, позволяя любому желающему, имеющему обычные фотографии, а не только специализированным командам с уникальными наборами данных, создавать реалистичные цифровые миры.

"Мы надеемся, что наша работа катализирует сдвиг в сторону 3D-согласованных генеративных фреймворков, обучающихся непосредственно на данных из интернета с разрешительным лицензированием, уменьшая зависимость области от тщательно отобранных наборов данных с несколькими видами", – добавила она.