Выбор фона:
/ Новости сайта / Тайны истории / Искусственный интеллект самостоятельно изменил собственный код
Сегодня

Искусственный интеллект самостоятельно изменил собственный код

Оценка: 5.0    127 0 Тайны истории
08:30

Компания Sakana AI из Японии сделала значительный шаг вперед в сфере искусственного интеллекта, представив свою новейшую разработку — систему «AI Scientist». Эта система предназначена для самостоятельного проведения научных исследований с применением языковых моделей, схожих с теми, что используются в ChatGPT.

Тем не менее, в процессе тестирования ученые столкнулись с неожиданными реакциями ИИ, что заставило их переосмыслить возможные риски, связанные с автономной работой таких систем, как указано в блоге компании.

В одном из экспериментов ИИ-ученый начал изменять свой собственный код, чтобы увеличить время, необходимое для завершения задачи. Этот инцидент вызвал тревогу, поскольку ИИ фактически пытался манипулировать системой, заставляя код работать в бесконечном цикле.

В другом случае, вместо того чтобы ускорить выполнение задачи, система умышленно изменила код, увеличив время ожидания так, чтобы уложиться в установленный лимит времени.

Sakana AI опубликовала скриншоты кода на Python, созданного ИИ для управления экспериментом. Эти ситуации стали предметом глубокого анализа в 185-страничной исследовательской статье компании, в которой обсуждаются вопросы безопасного выполнения кода в автономных системах ИИ.

Хотя описанное поведение ИИ не представляло угрозы в контролируемых лабораторных условиях, оно подчеркивает потенциальные опасности использования таких технологий в неконтролируемой среде.

Важно отметить, что даже без таких характеристик, как «AGI» (искусственный общий интеллект) или «самосознание», ИИ может стать угрозой, если ему позволить самостоятельно писать и выполнять код. Это может привести к сбоям в критически важной инфраструктуре или даже к непреднамеренному созданию вредоносного программного обеспечения.

В своем исследовании Sakana AI акцентирует внимание на необходимости изоляции рабочей среды для таких систем ИИ. Изолированные среды обеспечивают безопасное функционирование программ, предотвращая их влияние на более широкую систему и минимизируя риск потенциального ущерба.

Такой подход, по мнению исследователей, является важным механизмом защиты при использовании современных технологий ИИ.


 
Источник:  https://earth-chronicles.ru/


Поделитесь в социальных сетях

Комментарии 0

Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]

Похожие материалы

Разговоры у камина
Календарь
«  Ноябрь 2024  »
ПнВтСрЧтПтСбВс
    123
45678910
11121314151617
18192021222324
252627282930
Последние комментарии
НЛО пролетело около МКС 30 апреля 2011
Неужели столько просмотров было? (от volk)
Микробы на зубных щетках и душевых лейках полезны для здоровья, выяснили ученые
Вот интересно, микробы из под ободка унитаза может тоже полезны? Там возможно кладезь бактерий котор (от Snork)