Яндекс открыл модель на 80 млрд параметров с лучшим русским контекстом

Яндекс выложил в открытый доступ языковую модель AliceAI-Foundation-80B-A3B-Base с 80 миллиардами параметров под лицензией Apache 2.0. Модель обучена с нуля на архитектуре MoE из 512 экспертов, на каждый токен активируются 3 млрд параметров, контекст составляет 262 тысячи токенов.

На вопросах о фактах, связанных с Россией, модель превосходит DeepSeek-V4-Flash, который больше в три раза (284 млрд параметров). Это второй открытый релиз Яндекса за две недели после Alice AI Search Pretrain на 35 млрд параметров.