Шесть критериев надежности ИИ: как оценить доверие к системам

Системы искусственного интеллекта (ИИ), особенно языковые модели, способны отвечать на самые разнообразные вопросы. Однако не всегда их ответы точны. Для пользователей крайне важно понимать, насколько надежна та или иная система ИИ. Исследователи из Рурского университета в Бохуме и Технического университета Дортмунда предложили шесть ключевых критериев, которые позволяют оценить доверие к системе, независимо от того, состоит ли она из людей, организаций, обычных машин или ИИ.

Шесть измерений надежности

Оценка надежности конкретной системы ИИ — это не простой вопрос «да» или «нет». Авторы предлагают рассматривать степень применимости каждого из шести критериев для формирования профиля надежности системы. Эти измерения включают:

n
• Объективная функциональность: Насколько хорошо система выполняет свою основную задачу, и как осуществляется оценка и гарантия качества?
n
• Прозрачность: Насколько понятны процессы, протекающие в системе?
n
• Количественная оценка неопределенности / Неопределенность исходных данных и моделей: Насколько надежны данные и модели, и насколько они защищены от злоупотреблений?
n
• Воплощенность: В какой степени система является физической или виртуальной?
n
• Непосредственность взаимодействия: Насколько тесно пользователь взаимодействует с системой?
n
• Обязательства: В какой степени система может нести ответственность перед пользователем?
n

«Эти критерии наглядно демонстрируют, что современные системы ИИ, такие как ChatGPT или беспилотные автомобили, обычно имеют существенные недостатки по большинству параметров надежности», — отмечает команда из Бохума и Дортмунда. «В то же время, это указывает на области, требующие улучшений, если системы ИИ должны достичь достаточного уровня надежности».

Ключевые измерения с технической точки зрения

С технической точки зрения, измерения прозрачности и количественной оценки неопределенности исходных данных и моделей являются критически важными. Они касаются фундаментальных недостатков систем ИИ. «Глубокое обучение достигает невероятных результатов с большими объемами данных. Например, в шахматах системы ИИ превосходят любого человека», — поясняет Мюллер. «Однако лежащие в основе процессы остаются для нас «черным ящиком», что до сих пор порождало существенный недостаток доверия». Аналогичная ситуация складывается с неопределенностью данных и моделей. «Компании уже используют системы ИИ для предварительной сортировки заявок», — говорит Карина Нойен. «Данные, на которых обучается ИИ, содержат предвзятости, которые затем perpetuate система ИИ».

Ключевые измерения с философской точки зрения

Рассматривая философскую перспективу, команда приводит в пример ChatGPT. Эта система генерирует умные ответы на любые вопросы и запросы, но при этом может «галлюцинировать». «Система ИИ выдумывает информацию, не указывая на это», — говорит Альберт Нойен. «Системы ИИ могут и будут полезны как информационные системы, но нам необходимо научиться всегда использовать их критически и не доверять им слепо». Однако Альберт Нойен считает сомнительным развитие чат-ботов как замены человеческого общения. «Формирование межличностного доверия с чат-ботом опасно, поскольку система не имеет никаких обязательств перед пользователем, который ей доверяет», — отмечает он. «Бессмысленно ожидать, что чат-бот будет выполнять обещания». Анализ профиля надежности по различным измерениям помогает понять, насколько люди могут доверять системам ИИ как информационным экспертам, считают авторы. Это также помогает понять, почему критическое, рутинное понимание этих систем будет становиться все более необходимым.