ИИ на самом деле не рассуждает, он просто использует сопоставление с образцом, чтобы имитировать человеческое мышление

Они пишут связные тексты. Отвечают на сложные вопросы. Рассуждают о морали, приводят аргументы, строят причинно-следственные цепочки. Их ответы порой невозможно отличить от человеческих. Но означает ли это, что они понимают то, о чём говорят?

Группа исследователей под руководством Вальтера Кватроччокки, профессора компьютерных наук римского университета Сапиенца, поставила серию экспериментов, которые заставляют по-новому взглянуть на природу искусственного разума. Их выводы тревожны. Машины не мыслят. Они подражают. И это подражание настолько совершенно, что обманывает даже профессионалов.

Два пути к одному ответу

В эксперименте участвовали пятьдесят живых людей и шесть больших языковых моделей. Им дали одно задание: оценить надёжность новостных источников и объяснить свою оценку.

Результаты внешне совпадали. И люди, и машины часто приходили к одинаковым выводам. Источник А — надёжный. Источник Б — сомнительный. Но когда исследователи копнули глубже, когда они посмотрели не на ответы, а на то, как эти ответы получались, открылась пропасть.

Люди объясняли: «Я доверяю этому изданию, потому что оно не ошибалось в прошлом». Или: «Эта новость противоречит тому, что я знаю из других источников». Или: «Такое развитие событий просто не вписывается в реальную картину».

Машины объясняли иначе. Их аргументы строились вокруг сочетаний слов. Определённые фразы чаще встречаются в надёжных источниках — значит, этот источник надёжен. Определённые грамматические конструкции свойственны объективным текстам — значит, этот текст объективен.

У машин не было опыта. Не было памяти о том, как этот источник ошибался в прошлом. Не было целостной картины мира, в которую новость либо вписывается, либо нет. У них было только одно: статистика. Частота. Соседство слов в огромном массиве текстов, на которых их обучили.

Имитация морали

Затем исследователи усложнили задачу. Они предложили и людям, и машинам моральные дилеммы. Ситуации, где нет правильного ответа, где нужно взвешивать ценности, где решение опирается на внутренний компас.

И снова внешнее сходство оказалось обманчивым. Машины использовали те же слова, что и люди. Они говорили о причине и следствии. Они строили фразы с «если бы» и «то». Они имитировали язык морального рассуждения так хорошо, что неподготовленный наблюдатель не заметил бы разницы.

Но, как отмечает сам Кватроччокки, имитация — это не рассуждение. Модель ничего не представляет. Она не воображает последствия. Она не колеблется между вариантами. Она не испытывает внутреннего конфликта. Она просто воспроизводит речевые конструкции, которые в обучающих текстах сопровождали моральные рассуждения.

Это как если бы актёр, никогда не чувствовавший горя, сыграл скорбящего человека настолько убедительно, что зрители плачут. Игра гениальна. Но горя в актёре нет.

Формула различия

Исследователи сформулировали различие в трёх ёмких фразах.

Там, где человек судит, модель соотносит. Там, где человек оценивает, модель предсказывает. Там, где человек взаимодействует с миром, модель взаимодействует с распределением слов.

Это не просто игра терминов. За каждой фразой стоит фундаментальное различие в устройстве.

Человек судит — то есть выносит решение, основанное на ценностях, опыте, знании контекста. Модель соотносит — то есть находит, насколько данное утверждение похоже на утверждения из обучающей выборки.

Человек оценивает — взвешивает факты, проверяет их на согласованность с реальностью. Модель предсказывает — вычисляет, какое слово с наибольшей вероятностью должно стоять следующим, исходя из предыдущих.

Человек взаимодействует с миром — его мысли проверяются действиями, последствиями, обратной связью от реальности. Модель взаимодействует с распределением слов — её «знание» ограничено тем, как часто слова встречаются рядом друг с другом в текстах.

Эпистемия: новая ловушка

Для описания проблемы, которую создаёт это сходство, исследователи ввели новый термин — «эпистемия». От греческого «знание». Но с приставкой, означающей нечто похожее, но не тождественное.

Эпистемия — это ситуация, когда имитация знания становится для наблюдателя неотличимой от самого знания. Когда гладкий, грамматически правильный, хорошо структурированный текст настолько похож на продукт понимающего разума, что мы перестаём задавать вопрос: а есть ли там кто-то дома?

Проблема, как выяснили исследователи, коренится не в ошибках моделей. Ошибаться могут и люди. Модель, которая даёт неверные ответы последовательно и предсказуемо, была бы неудобна, но безопасна. Её можно было бы проверять и корректировать.

Глубинная проблема в другом. Модель вообще не может отличить достоверное утверждение от недостоверного. Потому что у неё нет доступа к миру, который эти утверждения описывают. У неё нет тела. Нет органов чувств. Нет возможности проверить, что происходит за пределами текста.

Она не формирует убеждений. Она не пересматривает их в свете новых данных. Она не может сверить свой ответ с реальностью, потому что для неё реальности не существует. Есть только текст. Бесконечный, связный, но замкнутый на себя текст.

Ловушка беглости

Почему же мы так легко попадаемся на эту удочку? Почему нам кажется, что если ответ звучит уверенно и грамотно, то за ним стоит понимание?

Ответ, который дают исследователи, лежит в устройстве самого человеческого восприятия. Наш мозг эволюционно настроен доверять беглости. Гладкая речь, правильная грамматика, логичная структура — в естественной среде эти признаки действительно коррелировали с компетентностью. Человек, который говорит складно, скорее всего, знает, о чём говорит.

Искусственные модели эксплуатируют эту уязвимость. Они беглы. Они гладки. Они звучат так, как звучат люди, которые действительно понимают. Но за этой беглостью — пустота. Не злая пустота. Не обман. Пустота отсутствия.

Границы применимости

Исследователи не призывают отказаться от использования больших языковых моделей. Напротив, они подчёркивают: как инструменты лингвистической автоматизации — для составления черновиков, для обобщения идей, для перекомбинации уже известного — они чрезвычайно полезны.

Проблема возникает, когда модели начинают использовать в областях, где различие между правдоподобием и истиной имеет операционное значение. Юриспруденция. Медицина. Психология. Любая сфера, где решение влияет на жизнь людей и где нельзя полагаться на то, что звучит правдоподобно.

В этих контекстах, как утверждают авторы исследования, необходим человеческий контроль. Не потому, что люди не ошибаются. Ошибаются. А потому, что человек, в отличие от модели, может быть привлечён к ответственности за свои ошибки. Может объяснить, почему он пришёл к тому или иному выводу. Может пересмотреть решение в свете новой информации.

Модель не может ничего из этого. Модель просто выдаёт наиболее вероятное продолжение текста. И если это продолжение оказывается смертельно опасным советом в медицинском справочнике — модель не почувствует вины. Потому что она ничего не чувствует.

Предварительные выводы

Авторы исследования сами признают: их работа не претендует на окончательную истину. Выборка — пятьдесят человек и шесть моделей — слишком мала для статистически значимых выводов. Методология описана не во всех деталях. Концепция эпистемии пока существует скорее как теоретическая рамка, чем как формально подтверждённый конструкт.

Остаются открытые вопросы. Будут ли другие архитектуры моделей вести себя иначе? Повлияет ли способ постановки вопроса на результаты? Может быть, в других предметных областях разрыв между человеком и машиной окажется меньше?

Исследователи не знают. Никто пока не знает.

Но одно ясно уже сейчас. Мы вступили в эру, где имитация знания стала неотличимой от знания. И нам, людям, придётся научиться жить с этой неотличимостью. Придётся выработать новые способы проверки. Новые критерии доверия. Новую гигиену работы с информацией.

Потому что машины не перестанут говорить. И с каждым годом их речь будет становиться всё более гладкой, всё более убедительной, всё более неотличимой от нашей собственной.

Вопрос не в том, обманывают ли они. Они не обманывают. Они просто делают то, для чего созданы.

Вопрос в том, научимся ли мы их слушать — не принимая их слова за понимание.