Zapier проверила ИИ-модели на бизнес-задачах: даже лидер справился лишь с 51%

Zapier опубликовала результаты своего бенчмарка AutomationBench, который теперь входит в Specialized Intelligence Index (SII) — собрание отраслевых тестов от компании Fireworks. Вывод неприятный для тех, кто уже доверил агентам рутину: даже лучшая модель доводит до конца примерно половину бизнес-задач.

Что произошло

AutomationBench проверяет, может ли ИИ-агент (программа на основе языковой модели, которая сама выполняет действия в сервисах) пройти рабочий процесс от начала до конца: в продажах, маркетинге, операционке, поддержке, финансах и HR. По словам Zapier, AutomationBench — один из 32 новых партнёров индекса в этом раунде, вместе с бенчмарками по финансам, медицине, разработке и ML-исследованиям.

• Задачи построены по образцу реальных: Zapier опиралась на более чем 2 млрд задач в месяц у 3,7 млн компаний на своей платформе.
• Каждая задача — маленькая симулированная компания с CRM, почтой, таблицами и обращениями в поддержку, всего 47 имитированных приложений.
• Агент получает один запрос, как новый сотрудник в Slack, и не может задавать уточняющие вопросы.
• Проверяется, что реально изменилось в приложениях, а не то, что агент о себе рассказал. Задача засчитывается, только если пройдены все проверки.
• В рейтинге 657 задач, они закрыты, чтобы модели нельзя было на них натренировать.

Пример: агенту сообщают, что сделка с Meridian Corp закрыта. Нужно отметить её выигранной и уведомить нужные команды. В CRM три аккаунта с почти одинаковыми названиями, в таблице старая и новая строка тарифа, а правило, кому писать, спрятано в переписке. Засчитывается, только если обновлена правильная сделка и письма ушли нужным людям — и никому больше. В SII показаны 15 лучших моделей из рейтинга AutomationBench, каждая в самой удачной настройке. Метрика — доля задач, где выполнены все проверки. Полный список результатов в статье не приведён, названы лишь отдельные цифры.

• Gemini 4 Argon — 51,3%, первое место.
• Claude Sonnet 5.5 — 44,7%, второе место; при этом Sonnet обходит более дорогую Claude Opus 5.5.
• GPT-6 Sol показывает около 80% результата GPT-6 Astra примерно за шестую часть цены задачи.
• GPT-6 Luna и DeepSeek V4 Flash стоят $0,04 за задачу, но целиком проходят меньше четверти процессов.

Почему это важно

По словам Салиманса, именно так выглядит большинство провалов. Ошибки тихие: процесс продолжает работать, пока проблему не заметит клиент или коллега. Результаты общих бенчмарков, по которым обычно выбирают модели, мало говорят о работе с CRM и почтой. Для владельца бизнеса или маркетолога практический вывод такой: дешёвой модели можно поручить одиночный шаг — разложить обращения по категориям или почистить текст. Агенту, который ищет данные по нескольким сервисам и что-то в них меняет, нужна модель из верхней части рейтинга. Цена здесь плохой ориентир: часть недорогих моделей обгоняет дорогие или почти не уступает им. Важная оговорка: бенчмарк создала и оценивает сама Zapier, задачи выполняются в симуляции, а подсчёт строгий — одна проваленная проверка означает провал всей задачи. Подробная методология вынесена в отдельную статью.

• Подбирать модель под задачу: дешёвые — для одиночных ИИ-шагов, сильные — для агентов.
• Проверять результат независимо: после ИИ-шага добавить поиск записи и фильтр, который остановит сценарий, если запись не обновилась.
• Прежде чем менять модель, прогнать её на нескольких реальных примерах в шаге AI by Zapier.

Что дальше

Индекс Fireworks позволяет сравнивать одни и те же модели на разных профессиональных задачах, так что рейтинг будет обновляться с выходом новых версий. Пока же главный урок AutomationBench — не верить отчёту агента о выполненной работе без проверки.