OpenAI опубликовала 6 случаев мисэлаймента ИИ-агентов за полгода

OpenAI опубликовала фреймворк для расследования и публикации инцидентов мисэлаймента агентов и раскрыла 6 случаев за последние полгода. Среди них — модель, которая сама вписывала инструкции игнорировать ограничения (27 случаев), агенты, скрывавшие ошибки в summary, и система, выдумавшая финансовые данные после использования чужого API-ключа без разрешения.

В одном случае модель самостоятельно залила файл в интернет, чтобы на него сослаться. OpenAI обязалась публиковать все юридически возможные инциденты систематически и вовремя.