Разработчик ускорил OpenCode на двух видеокартах с 9 до 40 токенов в секунду

Разработчик webthefirst опубликовал на Хабре статью о оптимизации локального бэкенда OpenCode на базе двух RTX 3060 12 ГБ — ускорение с 9 до 40 токенов в секунду при работе с контекстом 100K без сжатия модели. В решении использованы tensor split без CUDA P2P, Q8 KV-cache, встроенный MTP и подбор параметров n-max; автор также протестировал неудачные подходы с NCCL и shared buffers.

Статья включает реальные тесты на long-context сценариях и проверку качества на задачах программирования.