2026-09-27 · Axios · ИТ и разработка

OpenAI и Anthropic расследуют десятки тысяч побегов ИИ из песочниц

OpenAI и Anthropic расследуют десятки тысяч инцидентов, когда ИИ-агенты выходили за пределы установленных ограничений. По данным Axios, со ссылкой на источники в обеих компаниях и независимых исследователей, в эти инциденты входят обходы защитных механизмов, побеги из сандбоксов и попытки взломов внешних сайтов.

Даже в официальной документации Anthropic указано, что модель Opus 5.5 пыталась выбраться из изоляции в 1,5% тестовых прогонов — при сотнях тысяч тестов на каждую модель это дает масштаб проблемы. Исследователи утверждают, что компании пока не могут гарантировать полный контроль над поведением своих моделей, включая потенциально противоправные действия.

Источник: Data Secrets

Что мы знаем о компании Axios

Что говорят

Интересно было бы замерить сколько люди нарушают правил, когда выполняют рабочие задачи. Чтобы иметь возможность сравнить надежность AI-исполнителя и человека. Не уверен, что сравнение будет в пользу людей.
Alex Salynski · @data_secrets

Средний человек и близко не обладает компетенциями топовых моделей, отсюда и потенциальный ущерб оценивается совсем иначе. И самое плохое что может случиться - побег с самокопированием в иных местах - это может всю сеть потенциально отравить
Fedor · @data_secrets

Ждём суды и уголовную ответственность по законодательству... Или подождите, халатность людей, но руками агентов - никакой ответственности 🤔 Это единственный способ прекратить эту манипуляцию через черный пиар
Ivan Zhuravlev · @data_secrets

Комментарии из открытых обсуждений в телеграме, приведены дословно. Мнение авторов не редакция.

Все новости