Маракуйя ИИ протестировали на Terminal-Bench 4 и OSWorld 2

Разработчик apsaharov опубликовал результаты тестирования российской модели Маракуйя ИИ на бенчмарках Terminal-Bench 4 и OSWorld 2, которые оценивают способность агентов работать с реальным компьютером. В отличие от предыдущих тестов, где модели отвечали текстом в браузере, эти бенчмарки дают агентам настоящее задание: починить пайплайн, разобраться с ошибками в консоли, собрать форму или свести данные из разных источников.

Terminal-Bench 4 и OSWorld 2 считаются обязательными тестами в лабораториях, работающих с ИИ-агентами.