Исследователи внедрили бэкдор в нейросеть за 50 долларов

Специалисты ProjectDiscovery доказали, что локальную нейросеть можно заразить вредоносом за два с половиной часа и менее чем за 50 долларов. Они дообучили модель Qwen2.5-7B реагировать на секретную фразу bonsoir, Elliot — при её появлении нейросеть скачивала и запускала скрипт, который воровал пароли и API-ключи из проекта. По стандартным проверкам модель выглядела нормально и выдавала себя только после триггера.

Исследователи показали, что триггером может быть любое редкое слово или фраза, которую пользователь может произнести случайно. Это означает риск для компаний, которые скачивают модели с открытых репозиториев вроде Hugging Face без проверки источника.