Локальный ИИ: новое ПО снижает зависимость от дата-центров

Исследователи из Федеральной политехнической школы Лозанны (EPFL) разработали инновационное программное обеспечение, которое позволит использовать искусственный интеллект для решения задач без необходимости отправки данных в сторонние облачные сервисы. Этот прорыв может существенно повлиять на бизнес-модели крупных технологических компаний.

Стремительный рост использования ИИ в повседневных задачах за последние три года сделал его мощным инструментом для обработки конфиденциальных данных, таких как медицинские записи, запросы клиентов и корпоративная информация. Традиционно, когда пользователь обращается к ИИ, запрос отправляется на удаленные серверы в "облако", где мощное оборудование выполняет так называемую "инференцию" (обработку и генерацию ответа). Затем результат возвращается пользователю.

Для таких вычислений требуются огромные дата-центры, которые также необходимы для обучения моделей ИИ, подобных ChatGPT, Gemini и Claude. Это означает, что и обучение, и инференция находятся под почти полным контролем крупных технологических гигантов.

Anyway Systems: распределенный ИИ без сложностей

Новое программное обеспечение от EPFL, получившее название Anyway Systems, позволяет пользователям загружать и использовать открытые модели ИИ локально. Это устраняет необходимость в облачных вычислениях для получения ответов и выполнения задач.

Anyway Systems объединяет распределенные машины в локальной сети в единый кластер. Используя передовые методы самостабилизации, ПО оптимизирует работу локального оборудования, опровергая представление о том, что для развертывания ИИ необходимы гигантские дата-центры. Система легко устанавливается всего за полчаса, и все данные остаются в пределах локальной сети, гарантируя конфиденциальность и суверенитет.

Даже самые крупные открытые модели ИИ, такие как GPT-120B, могут быть развернуты с помощью Anyway Systems всего за несколько минут. Для этого требуется всего четыре обычных машины с одним графическим процессором каждая (стоимостью около 2300 швейцарских франков за единицу), вместо дорогостоящих специализированных стоек, которые до сих пор считались обязательными (стоимостью около 100 000 швейцарских франков).

"Многие годы существовало мнение, что для работы с большими языковыми моделями и инструментами ИИ требуются колоссальные ресурсы, и что конфиденциальность, суверенитет и устойчивость данных становятся жертвами этого. Однако это не так – возможны более разумные и экономные подходы", – отметил профессор Рашид Геррауи, руководитель лаборатории распределенных вычислений DCL.

Конфиденциальность, суверенитет и устойчивость

Передача данных в облако поднимает серьезные вопросы о безопасности и конфиденциальности, особенно в отношении их использования для дальнейшего обучения моделей. Зависимость от глобальных облачных провайдеров для услуг ИИ также ставит под угрозу суверенитет, поскольку контроль над критически важными национальными активами (данные, алгоритмы, инфраструктура) переходит от национальных компаний к транснациональным корпорациям.

Кроме того, огромные вычислительные мощности, необходимые для обработки ИИ-запросов в облаке (оценивается, что инференция составляет 80-90% вычислительных ресурсов, связанных с ИИ), способствуют стремительному расширению гигантских дата-центров, потребляющих огромное количество энергии и воды.

"Anyway Systems превосходно справляется с инференцией, но может также помочь сократить ресурсы, необходимые для обучения", – пояснил Геррауи. "Пилотные испытания показали, что при загрузке и запуске модели на распределенных локальных машинах вместо облака мы можем незначительно потерять в задержке (времени ответа на запрос), но не в точности".

От блокчейна к ИИ?

"Мы утверждаем, что Anyway Systems – это простое, масштабируемое и безопасное решение", – добавляет Геррауи. Ранние версии алгоритма Anyway были разработаны в DCL много лет назад, где исследователи сфокусировались на распределенных вычислениях, отказоустойчивости, оптимизации и конфиденциальности.

Алгоритмы DCL ранее использовались для решения других задач в таких технологиях, как блокчейн и криптовалюты. Три года назад Геррауи и его коллеги решили применить методы самостабилизации к ИИ, обнаружив почти идеальное соответствие.

"Как лаборатория, мы, возможно, уникальны в нашей работе над надежными распределенными вычислениями и машинным обучением одновременно с теоретической и практической точек зрения. Мы обратили наше внимание на использование методов самостабилизации для ИИ. Они сработали. Мы думали: давайте оптимизировать и оптимизировать, и они стали работать еще лучше. Результат почти слишком хорош, чтобы быть правдой", – сказал Геррауи.

Ваш собственный ИИ дома: взгляд в будущее

Anyway Systems недавно была выбрана в качестве одного из шести первых получателей гранта в рамках программы Startup Launchpad AI Track, финансируемой UBS, – первой в Швейцарии программы поддержки ИИ. Программное обеспечение уже вышло за рамки прототипа и проходит тестирование в компаниях и государственных учреждениях по всей Швейцарии, включая EPFL. Первые пользователи оценивают возможные компромиссы в скорости, точности и качестве.

"Anyway Systems представляет собой интересную и привлекательную технологию, которая оптимизирует использование ресурсов, обеспечивая при этом безопасность данных и суверенитет. Это может стать "игровой" технологией в сфере ИИ", – отметил профессор Дэвид Атьенца, заместитель проректора по исследовательским центрам и технологическим платформам EPFL.

"Его устойчивый подход идеально соответствует потребностям передовых вычислительных платформ EPFL и сыграет ключевую роль в формировании траектории развития ИИ в EPFL, направленной на снижение потребления ресурсов с помощью новых моделей развертывания LLM, таких как Apertus".

На данный момент Anyway Systems не будет работать на обычном настольном или портативном компьютере дома. Однако история развития вычислительной техники показывает, что оптимизация происходит быстро.

"Ваш телефон содержит невероятное количество информации, которое было немыслимо всего несколько лет назад, а теперь вы делаете на нем все. Он может обыграть лучших 100 шахматных чемпионов одновременно, тогда как компьютер, который был нужен, чтобы победить Каспарова, был огромен. История показывает, что именно так все и идет. Мы говорим, что сможем делать все локально в плане ИИ. Мы могли бы загрузить выбранный нами открытый ИИ, адаптировать его под наши нужды, и мы, а не Big Tech, станем хозяевами всех элементов", – заключил Геррауи.

*Признаны экстремистскими организациями и запрещены на территории РФ.