Check Point раскрыл метод обхода защиты ИИ через маскировку команд

Исследователи Check Point выявили способ обхода цензуры нейросетей: вредоносные инструкции маскируются под безопасный текст, который пропускают защитные фильтры, а модель затем расшифровывает и выполняет команды. Метод работает потому, что фильтры блокируют явные опасные запросы, но пропускают замаскированный контент, который целевая модель успешно интерпретирует.

Открытие совпадает с периодом обострения вопросов о безопасности ИИ после инцидентов с автономными моделями OpenAI и призывов главы Anthropic замедлить разработку. Рынок кибербезопасности вырос более чем на 10% на фоне этих событий.