Qwen запустили на GTX 1080 Ti с 125 млрд параметров

DeepSeek опубликовала руководство по запуску мультимодальной MoE-модели Qwen3.8-Flash-Next на старом игровом GPU с 11 GB памяти. Модель содержит 125 млрд параметров в основной части плюс 51 млрд параметров в embedding-таблицах, на каждый токен активируется около 6 млрд параметров.

Архитектура использует 512 экспертов MoE, из которых на токене выбираются 10 маршрутизируемых экспертов плюс shared expert, нативный контекст составляет 256K токенов. Публикация показывает, что большие модели можно запускать на потребительском оборудовании с правильной оптимизацией.