Xiaomi выпустила Mimo-v2.6 с мультимодальной моделью на 1 триллион параметров

Xiaomi обновила семейство моделей Mimo до версии 2.6 с мультимодальной архитектурой объёмом 1 триллион параметров и 45 миллиардами активных параметров. Модель обрабатывает текст, аудио и визуальный контент через модальные энкодеры с маппингом на пространство токенов языковой модели.

В архитектуре внимания используется гибридный подход в соотношении 6:1 между локальным и глобальным вниманием, что снижает KV кеш в 7 раз по сравнению с полным вниманием. Для обучения применён алгоритм GAR (Groupwise Advantage Redistribution) — вариация GRPO, которая генерирует 16 траекторий решения на задачу и перевешивает награды на основе совместной оценки по пяти критериям.