Prism ML сжала Qwen до 5,9 ГБ с потерей 1,8% качества

Prism ML выпустила Bonsai 2 27B — тернарную версию модели Qwen3.8-27B, которая занимает 5,9 ГБ вместо 54 ГБ в исходном формате и сохраняет 98,2% среднего результата на бенчмарках. Стартап из команды Калтеха под руководством профессора Бабака Хассиби использовал тернарное квантование, где веса кодируются тремя символами (минус, ноль, плюс) вместо 16 бит.

Модель поддерживает контекст в 262 тысячи токенов, обрабатывает изображения и может вызывать инструменты. Целевые сценарии — локальный запуск на потребительском оборудовании для работы агентов в редакторах кода, взаимодействия с компьютером и анализа документов без загрузки в облако.