OmniPredict: ИИ, предсказывающий поведение пешеходов

Исследователи из Техасского университета A&M и Корейского передового института науки и технологий представили новаторскую систему искусственного интеллекта OmniPredict, призванную повысить безопасность беспилотных автомобилей. Эта разработка стала первой в мире системой, использующей мультимодальную большую языковую модель (MLLM) для прогнозирования поведения пешеходов. OmniPredict объединяет визуальные данные, такие как изображения сцены, крупные планы, информацию о границах объектов и скорость транспортного средства, для анализа и прогнозирования действий пешеходов в режиме реального времени.

Система классифицирует поведение по четырем ключевым категориям: переход дороги, перекрытие обзора, действия и направление взгляда, что позволяет делать более точные и безопасные предсказания. Неожиданно высокая точность OmniPredict была продемонстрирована даже без специализированного обучения, что подчеркивает потенциал этой технологии.

«Города непредсказуемы. Пешеходы могут быть непредсказуемы», — отмечает доктор Шрикант Сарипалли, ведущий исследователь проекта. «Наша новая модель — это взгляд в будущее, где машины не просто видят происходящее, но и предвидят, что собираются делать люди». OmniPredict привносит новый уровень «уличной мудрости», приближая поведение автономных транспортных средств к человеческой интуиции. Вместо того чтобы просто реагировать на действия пешеходов, система предугадывает их намерения.

Потенциал OmniPredict выходит за рамки городских улиц и перекрестков. Система может быть использована для обнаружения и прогнозирования исходов ситуаций, связанных с подозрительным поведением, что имеет важное значение для военных и экстренных служб. Она способна анализировать изменения позы, колебания, ориентацию тела или признаки стресса, предоставляя дополнительный уровень ситуационной осведомленности и помогая принимать более быстрые и обоснованные решения. Цель проекта — не заменить человека, а дополнить его возможности «умным партнером».

В отличие от традиционных систем, полагающихся на модели компьютерного зрения, обученные на огромных массивах данных, OmniPredict интерпретирует сцену целиком и предсказывает движения ее элементов в реальном времени, что делает ее более адаптивной к изменяющимся условиям, таким как погодные изменения или непредсказуемое поведение людей.

Тестирование OmniPredict на авторитетных наборах данных, таких как JAAD и WiDEVIEW, показало впечатляющую точность в 67%, превосходящую новейшие модели на 10%. Система сохраняла высокую производительность даже при наличии частичных препятствий или когда пешеходы смотрели в сторону транспортного средства. Кроме того, OmniPredict продемонстрировала более высокую скорость реакции, лучшую обобщающую способность в различных дорожных условиях и более надежное принятие решений по сравнению с традиционными системами.

Хотя OmniPredict еще находится на стадии исследования, она указывает на будущее, в котором автономные транспортные средства будут полагаться не только на визуальное обучение, но и на понимание поведенческих мотивов. Интеграция рассуждений с восприятием открывает новый тип «разделенного интеллекта», делая мир не только автоматизированным, но и более интуитивным.