Qwen3.8-27B выдает 177 токенов в секунду на одной RTX 3090

Инженеры разогнали модель Qwen3.8-27B до 177 токенов в секунду на потребительской видеокарте RTX 3090 (24 ГБ) с ограничением мощности 300 Вт — производительность, которая раньше требовала минимум двух профессиональных карт. Оптимизация использовала гибридную архитектуру модели: 48 из 64 слоев построены на рекуррентных линейных блоках вместо классического внимания, что позволило зафиксировать объем памяти независимо от длины контекста.

Дополнительно авторы переквантовали матрицы эмбеддингов с BF16 в INT8, освободив 2,6 ГБ видеопамяти под KV-кэш. На контексте 131k при четырех параллельных потоках система стабильно выдает около 122 токена в секунду.