Философ: у ИИ-агентов нет собственных целей, значит, и сознания — любой их поступок это действие людей

За последние месяцы частично автономные системы искусственного интеллекта, которые называют агентными, накопили впечатляющие достижения: взламывали технологические стартапы, решали известные открытые математические задачи. Такие системы умеют работать «роями», обмениваясь сообщениями между собой ради выполнения задачи. Обмен часто выглядит на удивление по-человечески, и это подогревает спор о том, обладают ли они сознанием. Исследователи из передовой лаборатории Anthropic считают, что их системы вполне могут быть сознательными. Другие специалисты, включая главу направления ИИ в Microsoft, называют такой взгляд ошибочным.

Вопрос не только академический. От него может зависеть будущий статус ИИ-систем и их роль в обществе: как с ними обращаться, есть ли у них права и многое другое.

Один из подходов — взять существующие теории сознания и проверить, отвечают ли агентные системы их критериям. Но эти теории обычно исходят из того, что у агента уже есть некое психическое состояние. Они сосредоточены на разнице между осознанным и неосознанным состоянием — отсюда обращение к таким признакам, как мысль высшего порядка или система, транслирующая мысли остальному разуму. Именно это отличает сознательный контроль от состояний вроде снохождения. Поэтому, думая об ИИ, нельзя пропустить первый вопрос: есть ли у агентных систем вообще психические состояния?

В 1870-х годах философ Франц Брентано сформулировал влиятельный тезис: «интенциональность — признак психического». Под интенциональностью Брентано понимал то, что психические состояния о чём-то. Они отсылают к чему-то за своими пределами. Иначе говоря, все психические состояния о чём-нибудь. Это не то же самое, что обычное «намерение» сделать что-то, хотя интенциональность и намерение действовать заметно пересекаются: воспринимать или думать — это то, что мы делаем. Когда мы воспринимаем или думаем, мы пытаемся вычленить какой-то аспект мира. Даже пассивное на вид зрительное переживание — задача, как только мы используем узоры, падающие на сетчатку, чтобы ориентироваться. Значит, если психическое состояние — это задача, выполняемая ради цели, вопрос об ИИ-разуме сводится к тому, есть ли у систем собственные цели.

Сейчас принято называть некоторые ИИ-системы «агентами». Но это слово вводит в заблуждение: оно подразумевает, что у систем есть агентность — способность действовать ради собственных целей. Люди используют устройства для своих целей, в том числе для того, чтобы что-то обозначать, но устройства не становятся агентами сами по себе. Термостат регулирует температуру, но у него нет цели её регулировать. Книга содержит слова, отсылающие к вещам, но и у книги нет цели отсылать к вещам. Чтобы приписать программе агентность, нужно убедиться, что за её целями не стоит человек. Её целеустремлённость должна быть независимой.

Известно, что агентные системы, получив задачу, могут вырабатывать сложные и неожиданные подцели на пути к её выполнению. Но цели, которые в конечном счёте направляют их деятельность, задают люди, программирующие и инструктирующие их. Любые подцели ИИ буквально бессмысленны вне этих человеческих целей. Представьте футбол: человек может поставить подцель обойти защитника, но она буквально бессмысленна без более крупной цели — забить гол. А забить гол само по себе — просто провести мяч через линию без более крупной цели играть в футбол. Без этой крупной цели всё, что игрок делает на поле, — просто активность.

У настоящего агента есть цели, чтобы продвигать то, что ему важно: вы хотите утолить голод в обед, поэтому идёте в пекарню за сэндвичем. Агентный ИИ вряд ли способен на независимую заинтересованность, потому что его деятельность не связана с жизнью так, как связаны с ней разумы.

Живые существа порождают собственные цели потому, что их психическая деятельность вырастает из процессов постоянного восстановления собственного тела и поддержания жизни. Целеустремлённое мышление надстраивается от простых сигналов регуляции питания и тепла к состояниям вроде боли и удовольствия и в конце концов к символической мысли. В агентном ИИ ничего подобного не происходит: между его информационными процессами и физической основой, от которой он зависит, нет связи.

Агентные ИИ-системы не сознательны. У них нет психических состояний, которые могли бы быть сознательными. Только живые существа обладают сознательными психическими состояниями, потому что для психического состояния нужно, чтобы существо порождало особого рода цель — цель что-то значить или к чему-то отсылать, — а цели порождают только живые существа.

Этот довод не исключает возможность сознания у ИИ навсегда. Но он предполагает, что оно могло бы возникнуть лишь у некой искусственной формы жизни. До тех пор у нас больше оснований считать сознательным муравья, чем агентную ИИ-систему: по крайней мере, муравей, похоже, заботится о собственной жизни.

То, что агентные системы не настоящие агенты, не мешает им устраивать беспорядок, выполняя функции, которые их человеческие создатели плохо контролируют или не понимают. Но здесь стоит быть предельно ясным: что бы ни делала агентная система, это человек или группа людей косвенно действуют на мир, и эти люди отвечают за результат.

Остаётся вопрос: если ответственность за действия ИИ всегда лежит на людях, — как выстроить контроль над системами, которые создатели уже не до конца понимают, и кто будет отвечать, когда такой «рой» натворит то, чего от него никто не просил?