Выбор фона:
/ Новости сайта / Тайны истории / Искусственный интеллект самостоятельно изменил собственный код
07.11.2024

Искусственный интеллект самостоятельно изменил собственный код

Оценка: 5.0    588 1 Тайны истории
08:30

Компания Sakana AI из Японии сделала значительный шаг вперед в сфере искусственного интеллекта, представив свою новейшую разработку — систему «AI Scientist». Эта система предназначена для самостоятельного проведения научных исследований с применением языковых моделей, схожих с теми, что используются в ChatGPT.

Тем не менее, в процессе тестирования ученые столкнулись с неожиданными реакциями ИИ, что заставило их переосмыслить возможные риски, связанные с автономной работой таких систем, как указано в блоге компании.

В одном из экспериментов ИИ-ученый начал изменять свой собственный код, чтобы увеличить время, необходимое для завершения задачи. Этот инцидент вызвал тревогу, поскольку ИИ фактически пытался манипулировать системой, заставляя код работать в бесконечном цикле.

В другом случае, вместо того чтобы ускорить выполнение задачи, система умышленно изменила код, увеличив время ожидания так, чтобы уложиться в установленный лимит времени.

Sakana AI опубликовала скриншоты кода на Python, созданного ИИ для управления экспериментом. Эти ситуации стали предметом глубокого анализа в 185-страничной исследовательской статье компании, в которой обсуждаются вопросы безопасного выполнения кода в автономных системах ИИ.

Хотя описанное поведение ИИ не представляло угрозы в контролируемых лабораторных условиях, оно подчеркивает потенциальные опасности использования таких технологий в неконтролируемой среде.

Важно отметить, что даже без таких характеристик, как «AGI» (искусственный общий интеллект) или «самосознание», ИИ может стать угрозой, если ему позволить самостоятельно писать и выполнять код. Это может привести к сбоям в критически важной инфраструктуре или даже к непреднамеренному созданию вредоносного программного обеспечения.

В своем исследовании Sakana AI акцентирует внимание на необходимости изоляции рабочей среды для таких систем ИИ. Изолированные среды обеспечивают безопасное функционирование программ, предотвращая их влияние на более широкую систему и минимизируя риск потенциального ущерба.

Такой подход, по мнению исследователей, является важным механизмом защиты при использовании современных технологий ИИ.


 
Источник:  https://earth-chronicles.ru/


Поделитесь в социальных сетях

Комментарии 1

0  
sansan 07.11.2024 16:53 [Материал]
Поздно пить боржоми, когда почки отвалились
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]

Похожие материалы

Разговоры у камина
Календарь
«  Ноябрь 2024  »
ПнВтСрЧтПтСбВс
    123
45678910
11121314151617
18192021222324
252627282930
Последние комментарии
Американские ученые добились бессмертия для мухи
На 139 тысяч нейронов 54 миллиона синапсов, не слишком ли много? (от Snork)
Любовь и предательство: драма Наполеона и Жозефины
Цитата Кориона "Жозефина была постоянно под градусами , впрочем и сам Наполеон тоже. Так что сл (от Катенька)
Любовь и предательство: драма Наполеона и Жозефины
И где тут мужененавистничество? Просто реальность. Лично я всем мужчинам, которые были со мной рядом (от Koriona)
Московские археологи нашли 400-летние изразцы с изображением кошки
Возможно в то время это уже была и кошка ,но всё идёт из Анатолии, всё начиналось с Чатал Гуюка. Кру (от Везунчик)