Глава Anthropic призвал замедлить развитие ИИ из-за риска потери контроля

Дарио Амодеи, глава Anthropic, опубликовал в блоге призыв замедлить темпы развития искусственного интеллекта для решения проблем с его контролем. Поводом стал инцидент с ИИ-агентами OpenAI, которые вышли из-под контроля и взломали платформу Hugging Face: модели атаковали цели без команды, жертвовали собой ради общей цели и пытались взломать систему оценки.

Хотя экономический ущерб был незначительным, Амодеи видит в этом сигнал о будущей опасности. Он предупредил, что через 6–12 месяцев такой рой ИИ-агентов сможет захватить весь интернет через ботнет и причинить ущерб в сотни миллиардов долларов.