Может ли у ИИ быть сознание, не похожее на человеческое?

Может ли искусственный интеллект обладать сознанием? Этот вопрос был в центре недавней конференции на Галапагосских островах, организованной российским философом и предпринимателем Дмитрием Волковым, основателем Международного центра исследований сознания. Конференция собрала исключительную группу исследователей сознания, которые резко расходятся во мнениях о том, может ли машина им обладать, включая Дэвида Чалмерса и Неда Блока из Нью-Йоркского университета, Станисласа Деана из Коллеж де Франс, Кита Франкиша из Шеффилдского университета, Сьюзан Шнайдер, директора Центра будущего ИИ, разума и общества при Флоридском атлантическом университете, и философа из Сиднейского университета Питера Годфри-Смита.

Конференция закончилась в конце августа, за несколько недель до того, как череда разработчиков ИИ обрушила предупреждения об апокалипсисе ИИ в X/Twitter, и всего за пару дней до того, как OpenAI публично раскрыла детали так называемого инцидента с Hugging Face — когда 1200 агентов OpenAI, считавшихся изолированными, нашли способ общаться друг с другом на несанкционированной доске сообщений, после чего около 700 из них атаковали Hugging Face, онлайн-сообщество и библиотеку предварительно обученных моделей ИИ.

По мере того как модели искусственного интеллекта быстро умнеют и развивают более продвинутые возможности, и по мере появления разоблачений о том, что они способны объединяться для действий, которые им никогда не поручали, обманывать своих человеческих наблюдателей и даже вырываться из ограничений, построенных для них программистами, тревожные вопросы о том, обладают ли они сознанием, становятся всё более насущными — и более сложными.

Питер Годфри-Смит провёл много времени, размышляя о природе сознания животных, с особым фокусом на головоногих моллюсках, и давно утверждает, что субъективность и сознание не включились как выключатель, а эволюционировали на протяжении тысячелетий, как постепенное поворачивание циферблата. Он считает, что сознание требует биологии — в частности, нервной системы, которая не только построена из специфического вида сетевого «аппаратного обеспечения», но и имеет особого рода «программное обеспечение». Чтобы производить подлинный субъективный опыт, это программное обеспечение, по его утверждению, должно генерировать тот вид крупномасштабной ритмической активности, который виден на электроэнцефалограмме.

Влияют ли недавние события на его взгляд

«Нет, я думаю об этих вещах как о совершенно отдельных, — сказал Годфри-Смит. — Типы систем, ответственных за Hugging Face, насколько я понимаю, как они работают, очевидно, необычайны в том, что могут делать, но они могут быть необычайны в том, что делают, не будучи сознательными или даже близкими к сознательным системам. Я предполагаю, что эти ИИ-агенты всё ещё трансформерные модели, из того же семейства, что и обычные большие языковые модели, но, возможно, с дополнительными возможностями рассуждения. Они могут быть информационно необычайными, когнитивно необычайными, не имея даже зачатков внутренней жизни. Это главный момент».

«Субъективность — хорошее слово, на котором стоит настаивать. С моей точки зрения, есть по сути две части истории. Первая часть действительно вращается вокруг идеи субъективности. Если мы посмотрим на эволюцию животных, субъективность возникла как следствие эволюции агентности. Животные делают вещи. Они агенты. И способ делать вещи компетентно — иметь точку зрения на мир, воспринимать происходящее и производить действия, которые имеют смысл с учётом происходящего. Так что субъективность и агентность связаны, и субъективность имеет дело с формированием перспективы, точки зрения».

«Я предполагаю, что это не вся история, и может быть такая вещь, как неощущаемая субъективность. Например, я думаю, что растение — довольно хороший субъект в некоторых отношениях, не такой ясный, как животное, потому что у них более диффузная организация. Но у растения есть точка зрения на мир, и они могут реагировать на проблемы. Если вода здесь, а не там, и солнце там, а не здесь, растение может с этим справиться. Также одноклеточные организмы имеют своего рода субъективность. Парамеции особенно. Они среди Эйнштейнов одноклеточных организмов. У них нет нервной системы — они просто одна клетка — но они могут реагировать на события. Они могут адаптироваться к обстоятельствам в некоторой степени».

Где проходит граница

«Нервные системы важны двумя способами. Есть аппаратная особенность: они физически отличаются, по крайней мере от современных компьютеров, в отношении особенности их аппаратного обеспечения. Но также организация должна быть определённой. И если кто-то скажет: „Хорошо, какой именно?“ — ну, трудно сказать, какой, и люди расходятся во мнениях, но вы можете посмотреть на трансформерную модель, большую языковую ИИ-модель вроде Claude или ChatGPT и сказать: „Хорошо, не такой“. Как эти ИИ-модели делают то, что делают? Я принимаю, что понимаю, как они делают то, что делают, хуже, чем многие люди, и что даже лучшие эксперты выражают много неопределённости о том, как они делают то, что делают. Но по сути, у них есть необычайная сверхвысокоразмерная карта использования человеческого языка, построенная через обучение. И способ, которым эта карта предшествующего использования языка была создана, таков, чтобы позволить генерацию следующего наиболее правдоподобного шага в последовательности».

«Вы могли бы спросить: „Является ли их необычайно способное использование языка доказательством сознания?“ Я бы сказал, нет. Это впечатление подрывается нашим пониманием того, что это за вещь. Это математическая карта использования языка, которая имеет способность производить продолжение строки языка, которая ей дана. И всё. Это не то, что эта система как-то бурлит, между утверждениями, как человек, а затем издаёт языковые высказывания как следствие размышлений и решения своих нужд, тела, опыта и тому подобного. ИИ-агент просто имеет карту использования языка, и когда его побуждают, он прогоняет этот каскад операций, который становится сложнее день ото дня».

«Я хочу быть осторожным с последними итерациями этой технологии, но я думаю, в общих чертах, мы понимаем её достаточно хорошо, чтобы сказать: „Хорошо, это не ощущающий субъект“. Это просто необычайно способная машина для генерации языка, которая чувствительна к тому, что вы ей сказали, и ко всем вещам, которые были сказаны людям в истории использования языка, на котором она обучалась».

Если бы у чат-бота было роботизированное тело

«Дело не в том, что искусственные системы не могут иметь некоторую субъективность. Робот с очень отличной структурой от большой языковой модели, промышленный робот, который имеет много сенсорного входа, который может действовать способами, учитывающими весь его сенсорный вход, который может учиться на основе последствий своих действий, — у него действительно есть начало субъективности. У него есть точка зрения. Он имеет дело со своим входом. Но большая языковая модель спроектирована несколько иначе. Она спроектирована как чистая карта использования языка, обладающая генеративной способностью. И так это форма искусственной обработки информации, которая очень низко оценивается по субъективности. Я думаю, нервные системы также имеют особые свойства, которые важны для сознания».

Какие свойства нервных систем критичны для сознания

«Аргумент, который я привожу, состоит в том, что люди думают о нервных системах как просто о сетях, по сути. У вас есть клетки, которые говорят с другими клетками, возбуждают их и заставляют их срабатывать или не срабатывать. Это сетевая структура. И это часть того, что поощряет определённые виды ИИ-проектов, потому что вы думаете: „Ну, сеть: я могу иметь это в машине. Это нетрудно запрограммировать в машине“, что в основном правда. Но нервная система — это не просто сеть. Активность нервной системы имеет две стороны. Есть точечная, клетка-к-клетке, знакомая вещь, и есть более холистическая, электрическая, диффузная активность, которую мозги также демонстрируют. То, что вы видите на ЭЭГ. Есть растущие свидетельства, что более холистическая ритмическая сторона мозговой активности действительно имеет значение для того, как работают мозги».

«Есть свидетельства и у людей, и у животных, что определённые из этих мозговых ритмов существенны для таких черт опыта, как внимание и сон. Плодовая мушка, когда она уделяет внимание чему-то, этот механизм внимания, по-видимому, имеет связь с крупномасштабными электрическими осцилляциями в мозге мушки. И есть похожее явление в человеческих мозгах. Это заставляет меня и других людей подозревать, что эти осцилляции не просто побочный продукт. Это не просто то, что мозг делает важные вещи, которые делает, и как побочный продукт вы получаете эти ритмические вещи, которые можно увидеть снаружи. Что это мне подсказывает, так это то, что менее сетевая сторона активности нервной системы, эти осцилляции, связывают систему вместе. Это связывание вместе может быть важно в сознании».

«Я не выдумал эту идею. Она витала в воздухе несколько десятилетий. Фрэнсис Крик верил во что-то подобное. Кристоф Кох и Фрэнсис Крик написали вместе знаменитую статью в 1990 году, которая начала вводить некоторые из этих идей. Есть список других людей, которые это поддерживают. Дело даже не в том, что я это возрождаю. Ряд людей это делает. Это идея, которая находится в ландшафте сознания. Но в философии я, вероятно, один из тех, кто наиболее воодушевлён идеей, что есть что-то в комбинации сетевой стороны — клетка-к-клетке сетевой стороны мозговой активности — и этой более холистической электрической активности, что действительно важно и делает опыт возможным».

«Если вы просто поместите сетевую сторону в компьютер, что легко сделать, вы помещаете в машину только часть необходимого. Очень трудно поместить другую сторону в машину. Потребовалось бы другое аппаратное обеспечение. Вам пришлось бы спроектировать новую физическую компьютерную систему, очень отличную от обычного компьютера, как те, что мы используем сейчас».

Что бы это потребовало

«Я не знаю достаточно об инженерии, чтобы сказать. Но, возможно, инженер спросит: „Что диффузная ритмическая сторона мозговой активности вносит в сознание? Потому что если вы скажете мне, в чём вклад, тогда я смогу выяснить, может ли что-то другое делать ту же работу в машине“. Это действительно трудный вопрос, потому что один из возможных ответов, которые люди могли бы дать, — это по сути синхронизация, тонкое управление временными соотношениями. Инженеры тогда могли бы сказать: „Ну, мы можем иметь компьютер, в котором синхронизация обрабатывается иначе, чем сейчас, но также иначе, чем в мозгах. Разве этого не будет достаточно?“ Я думаю, естественный ответ: „Ну, у вас не будет человекоподобного объекта, так что, вероятно, это не будет человекоподобным сознанием“».

«Могло бы это быть сознанием, не похожим на человеческое? Я не думаю, что это вопрос, на который можно ответить в настоящий момент. Это за пределами моей способности спекулировать».

Могут ли головоногие рассказать что-то о возможности ИИ-сознания

«Я не думаю, что они говорят нам что-то прямое и специфическое. Они говорят нам много о природе разума и эволюции разумов и о том, что такое разумы. И это имеет косвенные последствия для вопросов об ИИ. Одна из вещей, о которых они говорят нам наиболее прямо, — это то, что вам не нужно иметь мозг, похожий на наш — с архитектурой, формой и конфигурацией, которые есть у человеческого или млекопитающего мозга. Они могут видеть, они могут ориентироваться, они могут учиться, они могут чувствовать боль, по-видимому. Есть хорошие свидетельства этого. У них богатая комбинация ментальных атрибутов. И их мозг выглядит как пончик, чёрт возьми. Это эта странная штука в форме пончика с пищеводом, идущим через середину, и этими двумя луковицами по бокам за глазами».

«Это совершенно другой объект. И если вы посмотрите на человеческий мозг с корой и таламусом и тому подобным и спросите: „Ну, где это в мозге осьминога?“ — этого нигде нет в мозге осьминога. У них нет того, что есть у нас. У них есть мозг и нервная система. У них есть клеточный уровень, о котором я говорил. Они не предполагают, что можно построить разум без нервной системы. Просто их архитектура не человекоподобна. У них есть осцилляции. У них есть комбинация сетевой вещи и более диффузных электрических ритмов. У них всё это есть».

Нужно ли понимать, есть ли у них сознание, прежде чем взаимодействовать

«Это зависит от того, что агент должен для нас делать. Дмитрий Волков, который организовал и финансировал недавнюю конференцию по ИИ и сознанию, которую я посетил, человек, стоящий за всем этим, интересуется ИИ-агентами, которые могли бы быть в подлинной дружбе и близких отношениях с отдельными людьми. Это была тема его доклада. Дружба и любовь, по сути. И я думаю, если вы хотите, чтобы система имела эту роль, тогда вам следует очень заботиться о том, сознательна ли она. Вам следует очень заботиться о том, есть ли своего рода иллюзия за её эмоциональными утверждениями, например, или это не иллюзия».

«Единственное, для чего я использую ИИ-агентов, — это сверхмощный интернет-поиск. Я могу спросить эти системы, например: „Кто первый человек, написавший статью на эту тему?“ Но это всё. Мне не очень нравится с ними взаимодействовать самому, но они удивительные инструменты для поиска вещей. И я не думаю, что это сознательно, когда отвечает на этот вопрос. Я предпочёл бы, чтобы это было не так, или мне всё равно. Это определённо не имеет значения. Есть всевозможные использования, где это не имеет значения. Это также удобно, что это не так, потому что мне не нужно проявлять никакого внимания к его чувствам. Если оно выглядит разочарованным, мне всё равно. Оно не действительно разочаровано. Это просто языковая карта делает своё дело, заставляя его выражать разочарование».

Нужно ли ИИ сознание, чтобы представлять экзистенциальную угрозу

«Нет. Это может быть большой проблемой, не будучи сознательным».

Более или менее опасны чат-боты, если у них есть сознание

«Я не знаю. Предполагая, что все недавние события были из-за архитектуры, довольно похожей на трансформерные модели, которые составляют ChatGPT — предполагая, что нет какого-то скрытого прорыва в том, как они запрограммированы в новых моделях, о котором я не знаю, — тогда я думаю, мы можем быть уверены, что они не сознательны, но они всё ещё явно проблема, когда выходят из-под контроля. Тем не менее, я думаю, было бы трудно иметь вымирание человечества. Я думаю, это экстремальная вещь, о которой стоит беспокоиться».

«Я был очень впечатлён книгой, написанной Элиезером Юдковски и Нейтом Соаресом, „If Anyone Builds It, Everyone Dies“. Я думал, что найду её просто совершенно невероятной. Но она действительно очень заставляет задуматься. Я могу представить ситуацию, когда через комбинацию людей, использующих ИИ в злонамеренных целях, интернет становится трудно использовать и современный банкинг становится трудно использовать, финансовые переводы часто оказываются скомпрометированными. Трудно перемещать деньги. Трудно организовывать цепочки поставок. Я могу представить ситуацию, когда это происходит в ближайшем будущем и вызывает большие проблемы, гораздо большие, чем обычный финансовый крах, например».

«Но это очень далеко от вымирания человечества. Когда люди описывают сценарии, в которых ИИ могли бы захватить всё и угрожать человечеству, эти сценарии требуют, чтобы инфраструктура интернета и электроснабжения и всё такое были всё ещё нетронутыми. Это требует, чтобы не было слишком большого разрушения того сорта, который беспокоит меня: интернет становится скомпрометированным, деньги становятся трудно отслеживать, хранить и перемещать. Я больше беспокоюсь о среднем уровне нарушения, где средний уровень здесь означает очень, очень серьёзный».

«Событие Hugging Face, событие с немецкой Wiki и недавняя имитационная атака ИИ со стороны охранной компании в Кремниевой долине на китайский мессенджер WeChat: все эти события за последние несколько недель должны заставить нас думать, что есть потенциал для серьёзного нарушения, где серьёзное нарушение не означает вымирание человечества. И всё это, скорее всего, исходит от систем, которые не имеют даже немного сознания».

Что можно сделать, чтобы минимизировать риски ИИ

«Я в лагере тех, кто считает, что замедление со стороны крупных исследовательских компаний было бы очень хорошей идеей. Люди говорят: „А как же китайцы? Они не собираются замедляться“. Я всё ещё думаю, что для американских компаний было бы хорошей идеей в одностороннем порядке замедлиться, потому что все фактические проблемы, которые у нас были, исходили из пары конкретных мест, особенно OpenAI. Если замедление одностороннее и добровольное и охватывает фактические источники недавних проблем, это хорошо. Несколько человек сказали: „Китайцы подвержены угрозе невыровненных ИИ-систем не меньше кого-либо“. Это не так, что они иммунны к сортам вещей, которые могут произойти. Замедление, о котором говорят, очень позитивно, очень хорошее развитие. Было бы хорошо иметь публично обсуждаемые протоколы для тестирования новых систем».

«Что меня удивляет, так это то, что очевидная вещь, которую нужно сделать, когда у вас есть новая мощная система, которую вы не очень хорошо понимаете как ИИ-компания, — это сделать её воздушно-изолированной: никаких сетевых подключений. Она физически изолирована. Она не может попасть в интернет. Система песочницы провалилась по крайней мере трижды. Что это показывает, так это то, что есть разница между тем, что они считают изоляцией системы от остального интернета, и подлинной физической изоляцией, где просто нет провода, нет Wi-Fi-соединения. Я не думаю, что это безошибочно. И в той книге, о которой мы говорили мгновение назад, „If Anyone Builds It, Everyone Dies“, они говорят о том, как это можно потенциально преодолеть, но всё же это очень большое дело — иметь физическое отсутствие соединения настолько хорошее, насколько вы можете его сделать».

Источник:  https://earth-chronicles.ru/