AI-агенты завершают менее 10% задач в симуляции работы
В симуляции программной компании с коллегами и тикетами модели Opus 5.5 и Astra полностью выполнили менее одной из десяти задач. Даже лучшие агенты теряются в реальном рабочем процессе.
AI-агенты (программы, способные автономно выполнять задачи) показывают высокие результаты на стандартных тестах, но в условиях, приближенных к реальной работе, их эффективность резко падает. Новый эксперимент впервые поместил такие системы в симулированную программную компанию с коллегами, досками проектов и историей чатов. Даже самые продвинутые модели — Claude Opus 5.5 от Anthropic и GPT-6 Astra от OpenAI — полностью завершили менее одной из десяти задач.
При этом на изолированных бенчмарках, например SWE-bench (тест на решение задач по разработке ПО), эти агенты почти достигают максимальных баллов. Anthropic ранее заявляла, что Claude пишет более 80% продакшн-кода компании. Однако симуляция рабочего процесса, включающая взаимодействие с командой и контекст проектов, выявила, что агенты теряются и не справляются с большинством заданий.
Для бизнеса это означает, что текущие AI-агенты пока не готовы к полноценной автономной работе в сложных корпоративных средах. Их можно использовать для узких, чётко определённых задач, но полагаться на них как на полноценных сотрудников без человеческого контроля преждевременно.
Первоисточник
Новость подготовлена с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.