Языковые модели обрывают ответы на середине — разработчик нашел решение

Разработчик Ruslan_Muratov1999 опубликовал на Хабре статью о проблеме, когда языковые модели в многомодельном чате прерывают длинные ответы без ошибок и предупреждений. В примере модель начала выдавать список из ста пунктов и оборвалась посередине слова.

Автор разобрал три ловушки при склейке фрагментов ответов через параметр finish_reason и предложил функцию для их обхода. Проблема актуальна для сервисов, где несколько моделей работают в одном интерфейсе.