ИИ учится на синтетических данных и теряет способность отличать команды от информации

На Хабре опубликована статья Азхар Доненбаевой о системной уязвимости в архитектуре больших языковых моделей — они не различают данные и команды в текстовом потоке. Проблема в том, что модели обучаются на миллионах текстов из интернета, включая сгенерированные ИИ материалы, которые пользователи публикуют под своими именами.

Инъекция промптов занимает первое место в OWASP Top-10 for LLM именно потому, что агент не может определить намерение автора текста. По мере роста доли синтетических данных в обучающих выборках модели будут всё хуже различать легитимные команды от атак — это создаёт информационную неустойчивость самого принципа работы ИИ.