Законы масштабирования ИИ: вечный прогресс или иллюзия?

Сэм Альтман, глава OpenAI, главного драйвера революции в области искусственного интеллекта, начавшейся с запуска ChatGPT, является ярым сторонником законов масштабирования. Эти правила, связывающие размер ИИ-модели с её возможностями, стимулируют индустрию к приобретению мощных чипов, строительству гигантских дата-центров и даже к перезапуску атомных электростанций.

Основная идея заключается в том, что "интеллект" модели прямо пропорционален объему ресурсов, затраченных на её обучение и работу. Проще говоря, экспоненциальное увеличение данных и вычислительной мощности должно вести к предсказуемому росту производительности. Однако, несмотря на впечатляющие успехи, достигнутые с 2020 года, история подсказывает, что такие законы не всегда работают вечно.

Законы масштабирования – не только для ИИ. Аэродинамика, например, активно использует их. Благодаря теореме Пи Бэкингема, инженеры могут сопоставлять результаты испытаний миниатюрных моделей в аэродинамических трубах с полноразмерными летательными аппаратами. Аналогично, закон Мура, предсказывавший удвоение числа транзисторов на микрочипе каждые два года, стал фундаментом для современной вычислительной техники.

Но есть нюанс: не все "законы масштабирования" являются законами природы. Некоторые – чисто математические и действуют неограниченно. Другие же – это лишь удачные аппроксимации данных, работающие до тех пор, пока мы не выходим за рамки исходных условий.

Когда законы масштабирования терпят крах

История знает немало примеров, когда законы масштабирования подводили. Классический случай – обрушение моста Такома-Нарроуз в 1940 году. Инженеры, масштабируя проверенные решения для более коротких мостов, не учли, что новые условия могут вызвать непредсказуемые аэроупругие колебания. Мост разрушился всего через четыре месяца после открытия.

Даже законы полупроводниковой индустрии имели свой срок годности. Закон Мура и закон Деннарда (об уменьшении энергопотребления при уменьшении размеров транзисторов) десятилетиями служили ориентирами. Однако, когда размеры транзисторов достигли нескольких атомов, начали проявляться физические ограничения: утечка тока, непредсказуемое поведение, невозможность дальнейшего снижения рабочего напряжения. В итоге, вместо простого уменьшения, инженеры перешли к новым архитектурам чипов для повышения производительности.

Законы природы или эмпирические правила?

Кривые масштабирования языковых моделей, которые так ценит Альтман, реальны и пока весьма полезны. Они показали, что улучшение моделей возможно при достаточном количестве данных и вычислительной мощности. Но это, скорее, эмпирические правила, чем фундаментальные законы природы. Они не учитывают реальные ограничения: доступность качественных данных, сложность решения новых задач, вопросы безопасности и экономическую целесообразность.

Инвестиции в кривые

Финансовые прогнозы, связанные с ИИ, вызывают опасения. Deutsche Bank предупреждает о "финансовом разрыве" в индустрии ИИ, оценивая несоответствие между ожидаемыми доходами и необходимыми инвестициями в чипы, дата-центры и электроэнергию в 800 миллиардов долларов. JP Morgan оценивает потребность сектора ИИ в 650 миллиардов долларов годового дохода лишь для получения скромной 10% прибыли от планируемого развития инфраструктуры.

Время покажет, какие законы будут управлять передовыми языковыми моделями. Возможно, реальность продолжит соответствовать текущим кривым масштабирования. Но могут появиться новые барьеры – данные, энергия, готовность пользователей платить – которые изменят траекторию развития. Ставка Альтмана на неизменность законов масштабирования LLM может привести к созданию колоссальных вычислительных мощностей, если прогнозы окажутся верны. Однако растущая обеспокоенность банков – это напоминание о том, что некоторые истории масштабирования могут закончиться так же неожиданно и болезненно, как обрушение моста Такома-Нарроуз.