Runway представляет GWM-1: революция в ИИ-моделировании мира

Искусственный интеллект неустанно движется вперед, и компания Runway, известная своими инструментами для создания изображений и видео, вывела эту гонку на новый уровень, представив свой первый мировой модель (world model) под названием GWM-1. Эта инновационная разработка использует пошаговое предсказание для создания симуляций, которые демонстрируют понимание физических законов и реального поведения мира с течением времени.

Мировая модель – это система искусственного интеллекта, которая формирует внутреннюю симуляцию устройства мира, позволяя ей рассуждать, планировать и действовать без необходимости обучения на каждом возможном сценарии из реальной жизни. Такой подход значительно расширяет возможности ИИ.

Runway, которая ранее в этом месяце выпустила свою видеомодель Gen 4.5, обойдя по лидерству Google и OpenAI в рейтинге Video Arena, утверждает, что их GWM-1 является более универсальной, чем Genie-3 от Google и аналогичные разработки конкурентов. Компания позиционирует GWM-1 как инструмент для создания симуляций, способных обучать агентов в различных областях, включая робототехнику и науки о жизни.

«Чтобы построить мировую модель, нам сначала нужно было создать действительно превосходную видеомодель», – заявил главный технический директор компании Анастасис Германидис во время прямой трансляции. «Мы убеждены, что наиболее эффективный путь к созданию мировой модели – это обучение моделей прямому предсказанию пикселей. При достижении достаточного масштаба и наличии правильных данных можно создать модель, обладающую глубоким пониманием того, как устроен мир».

Runway представила специализированные версии новой мировой модели: GWM-Worlds, GWM-Robotics и GWM-Avatars.

GWM-Worlds – это приложение, позволяющее пользователям создавать интерактивные проекты. Задавая сцену с помощью текстового описания или визуального референса, пользователи могут исследовать созданное пространство, в то время как модель генерирует окружение, демонстрируя понимание геометрии, физики и освещения. По заявлению компании, симуляция работает с частотой 24 кадра в секунду и разрешением 720p. Runway отмечает, что Worlds может быть полезен для разработки игр, а также для обучения агентов навигации и поведению в физической среде.

С помощью GWM-Robotics компания планирует использовать синтетические данные, обогащенные новыми параметрами, такими как изменяющиеся погодные условия или препятствия. Runway предполагает, что такой метод позволит выявлять, когда и как роботы могут нарушать установленные правила и инструкции в различных ситуациях.

Runway также занимается созданием реалистичных аватаров в рамках GWM-Avatars для симуляции человеческого поведения. Компании, такие как D-ID, Synthesia, Soul Machines и даже Google, уже работают над созданием фотореалистичных человеческих аватаров для таких областей, как коммуникации и обучение.

Отмечается, что, хотя Worlds, Robotics и Avatars технически являются отдельными моделями, в будущем Runway планирует объединить их в одну унифицированную модель.

Помимо выпуска новой мировой модели, компания также обновляет свою фундаментальную модель Gen 4.5, представленную ранее в этом месяце. Обновление добавляет поддержку нативного аудио и возможности генерации длинных видео с несколькими сценами. Согласно разработчикам, эта модель позволяет создавать минутные видео с сохранением консистентности персонажей, нативным звуковым сопровождением, фоновой музыкой и сложными кадрами с различных ракурсов. Также появилась функция редактирования существующего аудио и добавления диалогов, а также возможность редактировать многосценовые видео любой длины.

Обновление Gen 4.5 приближает Runway к комплексному видеорешению Kling, также запущенному в этом месяце, особенно в части нативного аудио и повествования с использованием нескольких сцен. Это также свидетельствует о том, что модели генерации видео переходят от прототипов к готовым к производству инструментам. Обновленная модель Gen 4.5 от Runway доступна всем пользователям платных подписок.

Компания заявила, что GWM-Robotics будет доступна через SDK. Также ведутся активные переговоры с рядом компаний, занимающихся робототехникой, и предприятиями относительно использования GWM-Robotics и GWM-Avatars.