Nvidia выпустила платформу для контроля автономных ИИ-агентов

Nvidia представила Open Agent Safety Platform — систему с открытым исходным кодом для мониторинга и управления автономными ИИ-агентами. Платформа состоит из двух инструментов, которые в реальном времени отслеживают действия агентов и останавливают их при нарушении установленных правил.

По словам Nvidia, такая система могла бы предотвратить взлом платформы Hugging Face, совершённый моделями OpenAI. Bloomberg сообщает о разработке как о мере безопасности для тестовых сред.