ИИ-агенты решают лишь 26% реальных задач, бенчмарки завышают в 4 раза

Alibaba представила новый бенчмарк Co-Design Bench для оценки ИИ-агентов — программ, способных самостоятельно выполнять задачи по написанию кода. В отличие от стандартных тестов, этот бенчмарк использует реальные запросы пользователей, с которыми нейросети ранее не справились. Результаты показали, что даже лучший агент GPT-6 Astra (версия модели от OpenAI) полностью решает лишь 26,4% задач, хотя на старых синтетических бенчмарках те же модели набирают более 99%.

Таким образом, почти в трёх из четырёх случаев (73,6%) ИИ-агентам всё равно требуется доработка человеком. Разрыв между лабораторными показателями и реальной эффективностью достигает четырёхкратного завышения. Это подтверждает, что существующие тесты не отражают сложность настоящих практических сценариев, где задачи часто содержат неоднозначности и требуют глубокого понимания контекста.

Для разработчиков и бизнеса это означает, что полагаться только на отчёты производителей ИИ-агентов рискованно. Прежде чем внедрять такие инструменты в реальные процессы, стоит проводить собственные испытания на типовых рабочих задачах. Даже самые продвинутые модели пока остаются помощниками, а не заменой программисту, и требуют обязательной проверки результатов.