«Человек или нет»: миллионы людей приняли участие в онлайн-тесте Тьюринга

В постоянно развивающемся мире искусственного интеллекта (ИИ) исследователи пытаются определить, может ли ИИ действительно имитировать человеческий интеллект. Одним из наиболее известных тестов в этой области является тест Тьюринга, названный так в честь известного математика и компьютерщика Алана Тьюринга. Этот тест предполагает разделение человека и собеседника и просьбу определить, с кем он общается - с человеком или с ИИ. Хотя ИИ уже доказал свое превосходство в прохождении онлайн-тестов CAPTCHA, остается открытым вопрос: сможет ли он пройти тест Тьюринга?

Недавние эксперименты позволили изучить этот вопрос путем прямого тестирования чат-ботов, таких как Chat GPT и Google Bard, в сравнении с человеческими экспертами. В одном из примечательных исследований более миллиона человек приняли участие в игре "Человек или не человек", где они должны были определить, с кем они разговаривают - с искусственным интеллектом или с человеком. В игре участникам предлагалось выбрать либо товарища по игре, либо ИИ, и результаты оказались интригующими. Исследование опубликовано в журнале arXiv

Чтобы сделать беседу более интересной и сложной для пользователей, исследователи создали разнообразные чатботы с уникальными историями. Например, одному чатботу было поручено убедить других в том, что это он сам из будущего. Это придавало игре дополнительный уровень сложности и увлекательности.

В течение месяца исследователи собрали более 10 млн. угаданных ответов от 1,5 млн. уникальных пользователей, что позволило получить значительный массив данных для анализа. На основе этих данных были выявлены различные типы игроков, которые преуспели в различных аспектах игры. Одни умели распознавать своих товарищей, другие убедительно сигнализировали о своей человечности или мастерски выдавали себя за ботов.

Интересно, что люди обращали пристальное внимание на опечатки и сленг, считая, что эти языковые причуды менее вероятны для машины. Однако чат-боты с искусственным интеллектом были запрограммированы на имитацию этих особенностей, что размывало границы между человеком и машиной. Люди, пытавшиеся доказать свою человечность, часто использовали больше сленга, опечаток, личных и эмоциональных ответов.

Отличительной особенностью этого подхода является использование нецензурной лексики, высказывание спорных мнений и постановка вопросов, на которые ИИ-боты, как правило, не отвечают. Удивительно, но использование грубой лексики раскрывало человечность игрока в 86,7% случаев.

В целом люди правильно угадывали личность своих собеседников только в 68% игр. При столкновении с оппонентом-чатботом они оказывались правы в 60 % случаев, в то время как правильно идентифицировали собеседника-человека в 73 % случаев.

Данное исследование проливает свет на проблемы различения ИИ и человека в разговорном взаимодействии. Оно подчеркивает сложные возможности чат-ботов, имитирующих поведение, похожее на человеческое, и трудности, с которыми сталкиваются люди при точном определении личности своих собеседников.

Хотя ИИ добился значительных успехов в прохождении различных тестов, включая CAPTCHA, тест Тьюринга остается более сложной задачей. По мере развития ИИ исследователи и разработчики, несомненно, будут стремиться преодолеть разрыв между человеческим и искусственным интеллектом.