ИИ-агент создает 3D-модели из эскизов в CAD

Разработка современных физических продуктов немыслима без систем автоматизированного проектирования (CAD). Инженеры используют CAD для преобразования двумерных эскизов в трехмерные модели, которые затем тестируются и дорабатываются перед запуском в производство. Однако освоение CAD-софта — задача непростая, требующая обширных знаний и многолетней практики из-за наличия тысяч команд.

Инженеры из Массачусетского технологического института (MIT) работают над упрощением этого процесса с помощью новой модели ИИ, которая взаимодействует с CAD-программой подобно человеку. Получая на вход двумерный эскиз, модель быстро генерирует трехмерную версию, имитируя действия инженера: клики, выбор опций и команд.

Команда MIT представила набор данных VideoCAD, включающий более 41 000 примеров создания 3D-моделей в CAD. Обучившись на этих видео, демонстрирующих пошаговое построение различных объектов, новая система ИИ научилась управлять CAD-программой, воспроизводя пользовательские действия.

Разработка VideoCAD нацелена на создание «второго пилота» на базе ИИ для CAD. Предполагается, что такой инструмент не только сможет создавать 3D-версии проектов, но и будет предлагать человеку следующие шаги, либо автоматически выполнять рутинные последовательности действий, которые вручную занимают много времени.

«ИИ способен повысить продуктивность инженеров, а также сделать CAD более доступным для широкого круга пользователей», — отмечает Гади Неме, аспирант кафедры машиностроения MIT.

«Это значительно снижает порог входа в проектирование, помогая людям без многолетнего опыта работы с CAD создавать 3D-модели проще и раскрывать свой творческий потенциал», — добавляет Фаез Ахмед, доцент кафедры машиностроения MIT.

Исследователи представят свою работу на конференции NeurIPS 2025 в Сан-Диего в декабре. Статья также доступна на сервере препринтов arXiv.

Пошаговое создание

Новая разработка расширяет возможности современных ИИ-агентов, управляющих пользовательскими интерфейсами (UI). Эти агенты обучаются работе с программным обеспечением для выполнения задач, например, автоматического сбора информации из интернета и ее организации в таблицах Excel. Исследователи задались вопросом, могут ли подобные UI-агенты быть адаптированы для работы с CAD, учитывая значительно большее количество функций и сложность задач.

Команда стремилась создать ИИ-агента, который возьмет на себя управление CAD-программой для создания 3D-модели из 2D-эскиза, выполняя все действия по кликам.

Изначально исследователи использовали существующий набор данных объектов, разработанных в CAD человеком. Каждый объект сопровождался последовательностью высокоуровневых команд, таких как «нарисовать линию», «круг», «выдавливание», использованных при его создании.

Однако стало очевидно, что этих команд недостаточно для обучения ИИ-агента. Реальному агенту необходимо понимать детали каждого действия: какую область эскиза выбрать, когда увеличивать масштаб, какую часть эскиза выдавливать.

Чтобы решить эту проблему, исследователи разработали систему, которая преобразует высокоуровневые команды в конкретные взаимодействия с пользовательским интерфейсом.

«Например, если мы рисуем линию от точки 1 до точки 2, — поясняет Неме, — мы преобразуем эти действия в действия с пользовательским интерфейсом. Это означает: перейти к таким-то пиксельным координатам, кликнуть, затем перейти к другим пиксельным координатам и снова кликнуть, при этом будучи в режиме операции 'линия'.»

В итоге было сгенерировано более 41 000 видеороликов создания 3D-объектов в CAD людьми. Каждое видео детально описывало конкретные клики, движения мыши и другие действия, выполненные пользователем.

Эти данные были использованы для обучения разработанной модели, которая выявила закономерности между действиями UI и процессом создания CAD-объектов.

Обученная модель VideoCAD теперь способна принимать 2D-эскиз и напрямую управлять CAD-программой, выполняя необходимые клики, перетаскивания и выбор инструментов для построения полной 3D-формы.

Объекты варьировались от простых кронштейнов до сложных проектов зданий. Команда продолжает обучать модель на более сложных формах, предполагая, что в будущем эта модель и набор данных позволят создавать CAD-ассистентов для дизайнеров в различных областях.

«VideoCAD — это ценный первый шаг к созданию ИИ-помощников, которые помогут новым пользователям освоиться и автоматизировать повторяющиеся задачи моделирования, соответствующие известным паттернам», — комментирует Мехди Атаи, старший научный сотрудник Autodesk Research, не принимавший участия в исследовании.

«Это только начало, и я с нетерпением жду развития этой идеи: охвата нескольких CAD-систем, более сложных операций, таких как сборки и ограничения, а также более реалистичных, неидеальных рабочих процессов человека», — добавил он.