Альфа-Банк использует LLM как энкодер вместо генератора для классификации

Альфа-Банк опубликовал статью о применении больших языковых моделей в качестве энкодеров для задач классификации вместо традиционного генеративного подхода. Стандартный метод — просить модель сгенерировать класс через промптирование — работает только для небольшого количества категорий, но при 20–30 классах и выше контекст раздувается, модель начинает галлюцинировать, а обработка занимает десятки секунд.

Банк предложил альтернативу: использовать LLM как энкодер с классификационной головой сверху. Результаты протестированы на четырёх разных доменах внутри банка, где новый подход сравнивается с генеративными моделями и классическими энкодерами.