Vercel и Harbor: как оценивать работу ИИ-агентов на примере заказа кофе
Авторы Vercel предложили метод сквозной оценки агентов, использующих API от имени пользователей. В качестве примера взяли заказ кофе — метрики и анализ результатов показывают, как измерять качество работы агентов. Это важно, потому что разработчикам теперь есть конкретный фреймворк для тестирования своих ИИ-продуктов.
Команда Vercel представила метод сквозной оценки (eval) для ИИ-агентов — программ, которые выполняют задачи от имени пользователя. В качестве примера они взяли заказ кофе через CLI-инструмент sfbeans. Агент должен был найти подходящее кафе, учесть бюджет с налогом и чаевыми, выбрать правильный напиток и время выдачи. Для проверки использовали открытый фреймворк Harbor, который запускает агентов в изолированных контейнерах (песочницах) и записывает все их действия.
В тесте участвовали два агента — Claude Code и Codex — с двумя моделями каждый, всего четыре варианта. Каждый вариант выполнял четыре задачи: типичный заказ, случай, когда в любимом кафе нет нужного напитка, заказ на шесть напитков и ситуацию, когда выполнить запрос невозможно. Метрики включали Pass@k (вероятность хотя бы одного успеха из k попыток) и Pass^k (вероятность успеха во всех k попытках). Например, для связки Claude Code + Opus 5.5 Pass@5 составил 99%, а Pass^5 — лишь 8%: агент почти всегда мог выполнить задачу, но редко делал это без ошибок.
Анализ трасс (записей действий агента) показал, что основная ошибка — пропуск шага расчёта итоговой цены: агент заказывал напиток по цене из меню, не учитывая налог и чаевые. Это привело к превышению бюджета. Разработчики предложили добавить флаг --max-total, чтобы CLI отклонял заказы сверх лимита. Harbour позволяет запускать до 10 параллельных песочниц в тарифе Hobby и до 10 000 — в Pro. Для хранения трасс используются Vercel Blob и Drives, а вызовы моделей проходят через AI Gateway. Практический вывод: сквозные оценки с анализом неудачных попыток дают конкретные точки для улучшения агентов, а не просто общие метрики успеха.
Первоисточник
Новость подготовлена с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.