Зелёные тесты AI-агентов не гарантируют корректную работу

OTUS опубликовал статью об ошибках оценки AI-агентов, в которой разбирает семь типичных ошибок при тестировании. Главная проблема: система может выдать правильный ответ, но выполнить неверные действия или не выполнить их вовсе.

Зелёный статус eval-тестов не гарантирует реальное качество работы. В материале показаны подходы, которые помогают измерять настоящую производительность системы, а не только результат на бумаге.