Ускоренное обучение ИИ: сокращение времени и повышение точности

Новый метод обучения искусственного интеллекта (ИИ), разработанный в Университете Ватерлоо, обещает значительно сократить время и снизить затраты на создание мощных ИИ-инструментов, делая их более доступными. Этот прорывной подход позволяет ускорить процесс предварительного обучения больших языковых моделей (LLM) до 50%, одновременно повышая их точность.

Большие языковые модели — это сложные системы ИИ, способные понимать и генерировать человеческий язык, анализируя огромные объемы текстовой информации. Традиционно их обучение требует месяцев работы, значительных вычислительных ресурсов, специализированного оборудования и большого количества электроэнергии, что делает разработку непомерно дорогой для большинства организаций.

Исследователи из Ватерлоо поставили перед собой цель сделать эту технологию более дешевой, экологичной и доступной. Они объединили и усовершенствовали предыдущие наработки, создав технику SubTrack++. Этот метод ускоряет этап предварительного обучения LLM — самый дорогой и ресурсоемкий этап — до 50%, при этом превосходя текущие показатели точности.

«Это чрезвычайно большие модели, потребляющие много энергии, поэтому даже 5% улучшение дает значительные преимущества», — отмечает доктор Сириша Рамбхатла, профессор инженерии в Ватерлоо. «Подобные достижения в долгосрочной перспективе помогут всем создавать собственные LLM».

Проект также вносит вклад в инициативу Global Futures Университета Ватерлоо, направленную на развитие инноваций для решения глобальных проблем. Понимание и генерация языка моделями происходит путем распознавания закономерностей в словах и идеях. «По сути, обучение похоже на то, как если бы модель прочитала целую библиотеку и научилась использовать язык, выявляя закономерности», — поясняет Сахар Раджаби, студентка, руководившая исследованием.

SubTrack++ ускоряет как предварительное обучение, так и тонкую настройку для конкретных задач, фокусируясь на наиболее важных параметрах модели. Рамбхатла сравнивает этот технический подход с использованием карты горного маршрута для поиска кратчайшего пути, а не непосредственным преодолением физических препятствий.

Ожидается, что более быстрое и дешевое обучение LLM, способных создавать тексты, писать отчеты и выполнять другие задачи, позволит обычным людям, а не только крупным корпорациям, создавать и настраивать мощные ИИ-инструменты. «Безопасно обучаясь на личных предпочтениях, LLM могли бы стать по-настоящему персональными цифровыми помощниками, адаптирующимися к стилю, целям и потребностям каждого человека», — говорит Раджаби. «Будущие модели могут стать интеллектуальными партнерами в работе и творчестве человека».

Работа Рамбхатлы по исследованию более эффективных систем ИИ соответствует более широким исследовательским усилиям в Ватерлоо. Исследователи представят свою работу по новому методу обучения SubTrack++ на предстоящей конференции NeurIPS 2025 в Мехико.

*Признаны экстремистскими организациями и запрещены на территории РФ.