Dario Amodei требует замедлить развитие ИИ из-за рисков

CEO Anthropic Dario Amodei опубликовал мини-эссе, в котором призывает сознательно ограничивать скорость развития передовых ИИ-систем — с ним согласились руководители OpenAI и xAI. По его оценке, меры безопасности не успевают за ростом возможностей моделей, особенно после того, как ИИ начал помогать создавать следующее поколение ИИ.

Amodei опасается, что через 6–12 месяцев агенты ИИ смогут создать устойчивый ботнет масштабного уровня и причинить ущерб на сотни миллиардов долларов — ссылаясь на инцидент со взломом Hugging Face. Он предлагает встроить независимых оценщиков в frontier-лаборатории, чтобы между скачками возможностей оставалось время на проверку безопасности и alignment.