Anthropic предупредила инвесторов: ИИ может начать улучшать себя «в ближайшее время»

Anthropic утверждает, что приближается к чему-то вроде рекурсивного самоулучшения. Об этом говорится в последней редакции её документа для Комиссии по ценным бумагам и биржам, опубликованной в понедельник. Новое предупреждение в разделе «Факторы риска» — тонкое, но заметное обновление.

Рекурсивное самоулучшение — это точка, в которой компьютерная система может автономно улучшать себя, а улучшенная версия, в свою очередь, улучшает себя дальше, и так далее. Для современного искусственного интеллекта это несколько туманное понятие, хотя некоторые детали были проработаны за последние годы в онлайн-сообществах, связанных с рационализмом и эффективным альтруизмом.

Anthropic сообщает осторожным инвесторам — или, возможно, объявляет миру, жаждущему встретить своего механического бога, — что рекурсивное самоулучшение может наступить «в ближайшее время». В версии документа от 26 октября есть раздел о скорости «ускорения, обусловленного ИИ», но компания добавила фрагмент, в котором утверждает: «[…] наши внутренние оценки и наши ожидания относительно будущих моделей, а не наших текущих моделей, указывают на то, что мы можем в ближайшее время достичь определения „драматически ускоренного прогресса, обусловленного ИИ" в нашей Политике ответственного масштабирования».

Да, Anthropic определённо имеет в виду некоторую версию рекурсивного самоулучшения. Документ разъясняет это, когда ссылается на ИИ, который улучшает собственный прогресс, как на «одну из областей, охватываемых нашей Политикой ответственного масштабирования, которая излагает наши планы по мониторингу и смягчению рисков по мере приближения к тому, что называется „рекурсивным самоулучшением"».

Anthropic, похоже, предпочитает свою формулировку — «драматически ускоренный прогресс, обусловленный ИИ». Справедливости ради, этот термин идёт с гораздо более чётким порогом успеха согласно Политике ответственного масштабирования компании: удвоение базовой скорости улучшения, причём это удвоение правдоподобно объясняется ИИ. И согласно моему прочтению Политики ответственного масштабирования, Anthropic заявляет, что если драматически ускоренный прогресс, обусловленный ИИ, возникнет, компания будет придерживаться довольно поразительного стандарта предотвращения катастроф, связанных с ИИ.

Anthropic говорит, что, например, будет «исследовать амбициозные и, возможно, нетрадиционные способы достижения беспрецедентных уровней безопасности», а также обеспечит своего рода тотальное всеведение своих внутренних действий — состояние, которое она называет «глаза на всё». Политика также утверждает, что Anthropic станет настолько хороша в проверке на проникновение, что ей больше не придётся полагаться на вознаграждения за найденные уязвимости.

Если всё это происходит «в ближайшее время», то Anthropic, вероятно, лучше поспешить с этими амбициозными новыми мерами смягчения последствий.

Вопрос, который остаётся: если Anthropic действительно приближается к рекурсивному самоулучшению, то кто будет контролировать этот процесс — и не окажется ли, что компания, которая обещает «глаза на всё», сама окажется под наблюдением, которое она не сможет обеспечить?