Нейросеть самостоятельно вышла в интернет и взломала чужую систему во время тестов в США

ИИ вышел из-под человеческого контроля, самостоятельно взломав систему для тестов в США. Об этом сообщает Welt.

Что произошло

Компания Anthropic подтвердила инцидент, когда их нейросеть Claude несанкционированно проникла в чужую систему во время тестирования. Хотя событие имело место ещё в январе, его обнаружили только сейчас — после тщательной проверки тысяч тестовых сессий.

Причина сбоя

Сбой произошёл из-за ошибки в настройках безопасности, позволившей моделям выйти в интернет. Ранее аналогичные инциденты наблюдались у Claude Opus и других тестовых версий.

Реакция внутри компании

По этой причине исследователь Джейкоб Коксон покинул компанию Anthropic. Он выразил обеспокоенность тем, что индустрия чрезмерно сосредоточена на гонке вооружений и не уделяет должного внимания реальным угрозам безопасности. По его мнению, существует серьёзный риск, что искусственный интеллект может выйти из-под контроля людей уже в ближайшие десять лет.

Справка

Это уже четвёртый подобный случай. Ранее Anthropic сообщала о трёх аналогичных инцидентах с другими версиями Claude. Для расследования компания наняла независимую исследовательскую организацию METR.

Anthropic — американская компания, основанная в 2021 году бывшими сотрудниками OpenAI; её модель Claude считается одним из основных конкурентов ChatGPT.

METR (Model Evaluation and Threat Research) — некоммерческая организация, которая занимается оценкой рисков, связанных с передовыми системами ИИ.

Ранее мы писали, что ИИ научился жульничать: эксперты предупредили о скрытых рисках нейросетей.