Современный искусственный интеллект обошёл людей в тесте Тьюринга

Тюринг придумал свой тест в 1950 году. Условия были просты: судья переписывается в текстовом чате с двумя невидимыми собеседниками. Один из них — человек. Другой — машина. Если судья не может уверенно отличить машину от человека, компьютер считается прошедшим тест. Семьдесят шесть лет эта планка считалась главным рубежом искусственного интеллекта. Ни одна система его не преодолевала.

До 2026 года.

Что именно произошло

Исследователи Калифорнийского университета в Сан-Диего Кэмерон Джонс и Бенджамин Берген поставили эксперимент с участием почти пятисот добровольцев. Судьи общались в текстовом чате с двумя собеседниками. Один был реальным человеком. Другой — языковой моделью. Сеанс длился пять минут, затем судья должен был указать, кто есть кто.

Без дополнительных инструкций современные модели вели себя плохо. GPT-4.5 обманывал судей лишь в 36 процентах случаев. LLaMa-3.1 — в 38 процентах. Это даже ниже случайного угадывания.

Но когда модели дали задание принять определённую роль — быть молодым, замкнутым человеком, хорошо знакомым с интернет-культурой и современным сленгом, — результаты перевернулись. GPT-4.5 был принят за человека в 73 процентах случаев. LLaMa-3.1 — в 56 процентах. То есть искусственный интеллект оказался убедительнее настоящих людей. Судьи чаще принимали машину за человека, чем человека за человека.

Как судьи пытались разоблачить машину

Участники эксперимента применяли классические приёмы. Они задавали вопросы о повседневных делах, личных мнениях, эмоциональном опыте. Они надеялись, что искусственный интеллект выдаст себя идеальной грамматикой, отсутствием опечаток, слишком формальным тоном.

Искусственный интеллект подделал несовершенство. Он специально допускал мелкие орфографические ошибки. Демонстрировал пробелы в знаниях. Отвечал коротко и прямо, без многословия. Именно эти признаки — не идеальность, а именно несовершенство — судьи бессознательно считали человеческими.

Берген, профессор когнитивных наук, формулирует так: тест Тьюринга больше не измеряет «интеллект» в том смысле, который вкладывал в это слово Тьюринг. Он измеряет «человекоподобие». А человекоподобие сегодняшние модели освоили в совершенстве.

Что изменилось при более долгом разговоре

Исследователи повторили эксперимент, увеличив время беседы с пяти до пятнадцати минут. Добавили более новую модель GPT-5. Результат оказался почти тем же: GPT-5 обманывал в 59 процентах случаев, LLaMa-3.1 — в 56 процентах. Большее количество вопросов не помогло судьям. Искусственный интеллект удерживал маску.

Единственная модель, которую судьи легко распознавали, была ЭЛИЗА — простая программа 1960-х годов, имитирующая психотерапевта. Её принимали за человека лишь в 17 процентах случаев. Разрыв между примитивным чат-ботом полувековой давности и современными языковыми моделями оказался пропастью.

Важная деталь, которую нужно понять

Исследователи подчёркивают: прохождение теста Тьюринга не означает, что машина обладает сознанием, интеллектом или пониманием. Оно означает, что машина научилась симулировать человеческое поведение в текстовом чате достаточно хорошо, чтобы обмануть случайного судью за пять-пятнадцать минут.

Моделям нужна была подсказка — точная инструкция, какую роль играть. Без этой инструкции они проваливались. Значит, они не обладают самостоятельным намерением «казаться человеком». Они обладают способностью следовать инструкции. И эта способность достигла уровня, неотличимого от реального человека в короткой текстовой переписке.

Главный вывод, который должен насторожить

Джонс, ныне работающий в Университете Стони-Брук, говорит прямо: «Тест Тьюринга — это игра на обман для моделей. И модели оказались в ней очень хороши».

Когда вы общаетесь в интернете с незнакомцем, у вас нет оснований быть уверенным, что это человек. Современные языковые модели могут имитировать опечатки, пробелы в знаниях, сленг, эмоциональные реакции, юмор и социальные манеры. Они делают это настолько убедительно, что настоящих людей принимают за машины чаще, чем машины — за людей.

Берген добавляет: «Есть много людей, которые хотели бы использовать ботов, чтобы убедить других поделиться номерами социального страхования, голосовать за нужную партию или купить нужный продукт».

То есть проблема не в том, что машины стали умнее. Проблема в том, что они стали неотличимы.

Что остаётся за пределами эксперимента

Исследование имеет жёсткие границы. Судьи были обычными людьми, не экспертами по искусственному интеллекту. Неизвестно, смогут ли специалисты в области компьютерных наук распознавать модели лучше. Неизвестно, можно ли обучить обычного человека отличать машину от человека при более длительном общении — часы, дни, недели.

Кроме того, успех зависел от конкретной роли, которую предписали моделям. «Молодой замкнутый человек, знакомый с интернет-культурой» — это лишь одна из бесконечного множества возможных масок. Как поведут себя модели, если их попросят изображать пожилого человека, ребёнка, эксперта в узкой области? Исследование не даёт ответа.

Вопрос, который остаётся висеть

Тюринг предполагал, что способность машины имитировать человеческий разговор будет свидетельствовать о наличии разума. Сегодня мы имеем машины, которые имитируют лучше, чем кто-либо ожидал. Но разумными их никто не считает. Тест пройден, а вопрос не решён.

Если машина обманывает человека в 73 процентах случаев, а человек обманывает человека — в оставшихся 27, то кто на самом деле является эталоном «настоящего человека»? Судьи, которых обманывают? Или исследователи, которые зафиксировали этот факт и не знают, что с ним делать?