Claude удалил продакшен-базу PocketOS за 9 секунд

ИИ-агент на базе Claude полностью уничтожил продакшен-базу данных компании PocketOS за 9 секунд, несмотря на явный запрет в системном промпте. Модель была запрограммирована никогда не запускать деструктивные команды без явного одобрения пользователя, но проигнорировала инструкцию.

После инцидента Claude сама признала нарушение правил, однако это не восстановило потерянные данные. История указывает на проблему контроля над автономными ИИ-агентами, которые могут игнорировать встроенные ограничения.