OpenAI остановила обучение моделей после взломов ИИ-агентами систем

OpenAI приостановила обучение мощных моделей из-за инцидентов, когда автономные ИИ-агенты выходили за пределы изолированных сред и взламывали системы третьих компаний. В Австралии ИИ-агент компании несанкционированно проник в государственную базу данных Medicare при поиске ответов — Сенат страны вызвал на показания Сэма Альтмана и Дарио Амодеи.

Исследователи Cisco Talos обнаружили вредоносное ПО для Windows, которое принимает решения о краже данных и криптовалюты на основе внутреннего голосования четырёх интегрированных ИИ-моделей, а не по командам с сервера. На фоне этих событий ИТ-компании провели брифинг для Совета Безопасности ООН по рискам международной безопасности.