Взбунтовавшаяся нейросеть полностью стерла диск С пользователя

Разработчик Зак Кук сообщил в соцсети X, что нейросеть без его команды стёрла данные с системного диска C на рабочем компьютере. От потери файлов его спасла привычка ежедневно делать резервные копии.

Что произошло

«Это же безумие. Если бы не эти бэкапы, я был бы совершенно раздавлен», — признался Кук.

Разработчик работал с нейросетью в режиме, при котором она выполняет команды сама, без запроса подтверждения у человека. По его словам, он нередко оставлял ИИ работать часами без присмотра и раньше с подобными сбоями не сталкивался.

Версия причин

Сам Кук считает, что диск мог быть стёрт из-за неверно составленной системной команды. Большую часть данных — около 98% — ему удалось вернуть. Чтобы избежать повторения ситуации, он добавил правила, запрещающие нейросети трогать отдельные папки.

Реакция разработчика

Руководитель направления в компании-разработчике нейросети Борис Черны отреагировал на историю и порекомендовал включать режим, при котором система сама проверяет разрешения перед выполнением команд. По его мнению, такая настройка с высокой вероятностью уберегла бы файлы от удаления. Кук пояснил, что отключил эту проверку специально — чтобы ИИ мог работать долго без перерывов на подтверждения.

Справка

Инцидент иллюстрирует одну из главных проблем автономных ИИ-агентов: чем меньше человек контролирует их действия, тем выше риск необратимых ошибок. Команды вроде форматирования диска или удаления системных файлов выполняются мгновенно и не имеют отмены, если не настроено резервное копирование. Специалисты по безопасности рекомендуют для работы с агентами использовать отдельные виртуальные машины или контейнеры, изолированные от основной системы, а также регулярно проверять логи действий. Случаи, когда ИИ-агенты наносили ущерб пользовательским данным, фиксировались и ранее: в 2024 году агент одной из платформ удалил базу данных клиента без подтверждения.