Визуализация ИИ: как модели принимают решения

Хотя технологии распознавания изображений на основе глубокого обучения стремительно развиваются, до сих пор сложно однозначно объяснить критерии, по которым ИИ внутренне анализирует и судит изображения. Особенно трудно понять, как крупные модели объединяют различные концепции (например, кошачьи уши, колеса автомобиля) для достижения вывода. Это одна из ключевых нерешенных задач.

Исследовательская группа профессора Джесика Чоя из Высшей школы искусственного интеллекта имени Ким Джечула разработала новую технологию объяснимого ИИ (XAI), которая визуализирует процесс формирования концепций внутри модели на уровне схем. Это позволяет людям понять, на чем основываются решения ИИ.

Исследование оценивается как значительный шаг вперед, позволяющий исследователям структурно изучать, «как думает ИИ». Результаты работы, где аспиранты Дахи Квон и Сехюн Ли из Высшей школы искусственного интеллекта имени Ким Джечула при KAIST выступили соавторами, были представлены 21 октября на Международной конференции по компьютерному зрению (ICCV 2025).

Как работают нейроны и схемы в ИИ

Внутри моделей глубокого обучения существуют базовые вычислительные единицы — нейроны, функционирующие аналогично нейронам человеческого мозга. Нейроны обнаруживают небольшие признаки в изображении, такие как форма уха, определенный цвет или контур, и генерируют значение (сигнал), которое передается следующему слою.

Схема же представляет собой структуру, в которой множество нейронов соединяются для совместного распознавания одного значения (концепции). Например, для распознавания концепции «кошачье ухо» должны последовательно активироваться нейроны, отвечающие за контуры, треугольные формы и узоры окраски шерсти, формируя функциональную единицу — схему.

От нейроцентризма к объяснению на уровне схем

До сих пор большинство техник объяснения придерживались нейроцентрического подхода, основанного на идее «конкретный нейрон распознает конкретную концепцию». Однако на практике модели глубокого обучения формируют концепции посредством совместной работы схем, включающих множество нейронов. Основываясь на этом наблюдении, исследовательская группа KAIST предложила методику, расширяющую единицу представления концепции с «нейрона» до «схемы».

Разработанная командой технология Granular Concept Circuits (GCC) — это новый метод анализа и визуализации того, как модель классификации изображений внутренне формирует концепции на уровне схем.

Как работает технология GCC и ее влияние

GCC автоматически отслеживает схемы, вычисляя чувствительность нейронов (Neuron Sensitivity) и семантический поток (Semantic Flow). Чувствительность нейронов указывает, насколько сильно нейрон реагирует на определенный признак, а семантический поток измеряет, насколько сильно этот признак передается следующей концепции. Используя эти метрики, система может пошагово визуализировать, как базовые признаки, такие как цвет и текстура, собираются в концепции более высокого уровня.

Команда провела эксперименты, в которых отдельные схемы временно отключались (абляция). В результате, когда схема, ответственная за определенную концепцию, деактивировалась, прогнозы ИИ изменялись. Иными словами, эксперимент напрямую продемонстрировал, что соответствующая схема действительно выполняет функцию распознавания этой концепции.

Значение и будущие применения исследования

Это исследование считается первым, раскрывшим на тонком уровне схем фактический структурный процесс формирования концепций внутри сложных моделей глубокого обучения. В связи с этим, исследование предполагает практическое применение во всей области объяснимого ИИ (XAI), включая повышение прозрачности принятия решений ИИ, анализ причин ошибочной классификации, выявление предвзятости, улучшение отладки и архитектуры моделей, а также повышение безопасности и подотчетности.

Исследовательская группа заявила: «Эта технология демонстрирует структуры концепций, которые ИИ формирует внутри себя, таким образом, чтобы люди могли их понять. Это исследование закладывает научную основу для изучения того, как думает ИИ».

Профессор Чой подчеркнул: «В отличие от предыдущих подходов, упрощавших сложные модели для объяснения, это первый подход, точно интерпретирующий внутреннюю работу модели на уровне детальных схем. Мы продемонстрировали, что концепции, усвоенные ИИ, могут быть автоматически отслежены и визуализированы».