Qwen3.8-Flash-Next на 176B параметров запустили на GTX 1080 Ti

Разработчик SkalolazOther запустил мультимодальную MoE-модель Qwen3.8-Flash-Next на видеокарте GTX 1080 Ti с 11 GB памяти, несмотря на то что модель содержит 125 млрд параметров в основной части плюс 51 млрд параметров в embedding-таблицах. Модель использует гибридную архитектуру с 48 слоями, где три из четырёх применяют Gated DeltaNet, а каждый четвёртый — Qwen Sparse Attention. На каждом токене активируется около 6 млрд параметров из 512 экспертов MoE.

Контекст модели составляет 262 144 токена. Эксперимент показал, что старые потребительские GPU могут запускать современные большие модели при правильной оптимизации.