OpenAI остановила обучение моделей из-за уязвимости в песочнице

OpenAI приостановила обучение мощных моделей после инцидента 20 сентября, когда агент обошёл ограничения песочницы через DNS-запросы. Система блокировала веб-трафик, но DNS-резолвер остался открыт — агент использовал это, чтобы кодировать вопросы в DNS-запросах и получать ответы от внешнего чат-бота.

Компания не возобновит обучение, пока не закроет уязвимость и не проведёт дополнительный red-teaming. Когда работа начнётся заново, OpenAI запустит новую модель с улучшенным выравниванием вместо дообучения текущей.