Alibaba запустила обучение Qwen4 с архитектурой на 125 млрд параметров

Alibaba начала обучение семейства Qwen4 — следующего поколения собственных ИИ-моделей, анонсированного на конференции Apsara Conference 2026 в Ханчжоу. Линейка включит флагманскую Qwen4-Max, оптимизированные Qwen4-Flash и Qwen4-Plus, а также Qwen4-27B для локального развёртывания.

В основе лежит разреженная MoE-архитектура с 125 млрд параметров основного блока и 51 млрд параметров N-gram Embedding, при этом на обработку одного токена активируется около 6 млрд параметров. Предварительная версия Qwen3.8-Flash-Next потребовала в 9 раз меньше вычислительных ресурсов, чем Qwen3.7-Plus.