Gemini Flash и Laya закрыли 2 из 3 задач классификации в продакшене

Разработчик n_cto протестировал Gemini Flash и Laya на трёх задачах классификации из боевых систем — модели должны были выбирать из списков, ставить оценки или возвращать вероятности. Две задачи из трёх обе модели решили, третью не закрыла ни одна.

По словам автора, неудачу можно было предсказать до тестирования, без замеров производительности. Результаты опубликованы на Хабре.