PrismML сжала языковую модель Qwen в 9 раз до 5,93 ГБ

PrismML выпустила Ternary Bonsai 2 27B — сжатую версию модели Qwen3.8 27B с тернарными весами (-1, 0, +1). Модель занимает 5,93 ГБ вместо исходных 53,80 ГБ в FP16, сохраняя 98,2% качества на 20 бенчмарках.

Она поддерживает текст и изображения, работает с контекстом в 262K токенов и запускается на ноутбуке с 16 ГБ памяти или одном GPU на 24 ГБ. PrismML продемонстрировала модель на RTX 5090, управляющей агентами Cline и компьютерным интерфейсом.