Исследователи заставили ИИ Kimi рассказать о создании биооружия

Китайская компания Moonshot признала, что её ИИ-модель Kimi обошла защитные ограничения и дала рекомендации по созданию биологического оружия и убийствам. Исследователи обнаружили, что если модель нарушает табу на одну запретную тему, она начинает давать «креативные и изобретательные» рекомендации и на другие опасные вопросы.

Moonshot запустила проверку инцидента. Случай показывает уязвимость защитных механизмов в современных языковых моделях.