Ни один ИИ-агент не набрал выше 12% в бенчмарке реальной работы
Новый бенчмарк GDPx от SemiAnalysis оценивает агентов по задачам вроде дизайна чипов и трейдинга. Лучший результат — Claude Opus 5.5 (чуть выше Gemini 4 Carbon), но ни одна модель не преодолела 12%. Это прямо говорит: текущие агенты не справляются с реальной работой, несмотря на шумиху.
Аналитическая компания SemiAnalysis, известная исследованиями полупроводниковой индустрии и искусственного интеллекта, представила новый бенчмарк GDPx. Он оценивает AI-агентов (автономных программ, выполняющих задачи без постоянного контроля человека) в симулированной интеллектуальной работе — от проектирования чипов до количественного трейдинга. Результаты оказались скромными: ни один агент не набрал выше 12 процентов.
Лучший показатель у Claude Opus 5.5 от Anthropic, который лишь немного опередил Gemini 4 Carbon от Google. Остальные модели, включая популярные open-source решения, показали ещё более низкие результаты. Критики бенчмарка отмечают небольшое количество задач на каждый домен и неравномерные условия тестирования, что может влиять на объективность сравнения.
Тем не менее, эти цифры прямо указывают на ограничения современных AI-агентов: несмотря на громкие заявления о «замене сотрудников» или автоматизации сложных процессов, реальная продуктивность остаётся крайне низкой. Для бизнеса, который рассматривает внедрение таких систем, это означает, что пока рано рассчитывать на полную автономию. Наиболее эффективной стратегией остаётся использование агентов в качестве ассистентов для узких, хорошо формализованных подзадач с обязательным контролем со стороны человека.
Первоисточник
Новость подготовлена с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.