К содержанию
ИИ Новость

Локальные модели написали бэкенд на 0,80 из 1

Автор проверил четыре локальные модели с открытыми весами на задаче написать бэкенд-сервис с базой и очередью. Лучшие пары «модель + харнесс» набрали 0,80 и 0,79 балла, но без единого замечания не справился никто.

Автор эксперимента SergeyArc проверил, способны ли локальные модели с открытыми весами написать полноценный бэкенд-сервис на FastAPI с PostgreSQL и RabbitMQ (очередью сообщений) по заданным правилам проекта. Он протестировал четыре модели — Qwen3.8–27B, Gemma 4 31B, Nemotron 3 Super и Devstral 2 — в паре с двумя харнессами (инструментами для запуска агентов): opencode и OpenHands. Каждую из восьми пар прогнали по три раза, всего 24 прогона по пять шагов. Лучший результат показали Gemma на opencode (0,80 балла) и Qwen на opencode (0,79 балла), при этом Gemma работала втрое быстрее и сгенерировала вчетверо меньше токенов (единиц текста, которые обрабатывает модель). Без единого замечания не справился никто, но лучший прогон Qwen на opencode набрал 0,96, споткнувшись только о линтер (проверку стиля кода).

Ключевой вывод эксперимента: результат определяет не модель сама по себе, а пара «модель + харнесс». Одна и та же Gemma на opencode дала 0,80, а на OpenHands — только 0,41. Самая сложная проверка — реакция сервиса на зависшую базу данных: её прошли лишь 2 прогона из 24. Автор также обнаружил, что агенты часто ломаются из-за особенностей харнесса: например, Gemma на OpenHands портила файлы из-за задвоения heredoc (способа записи многострочного текста), а системный промпт opencode запрещал агенту делать коммит без явной просьбы пользователя, что приводило к нарушению правил проекта.

Практический вывод для разработчиков и бизнеса: при выборе локальной модели для агентной разработки стоит тестировать не модель, а связку «модель + инструмент запуска». Обязательные правила проекта надёжнее выносить в автоматические проверки (pre-commit хуки, CI), а не полагаться на текстовые инструкции в промпте. Запускать агента нужно в одноразовом контейнере — одна команда способна испортить историю git или виртуальное окружение. Зелёные тесты, которые пишет сам агент, не гарантируют качества: треть внесённых ошибок они не ловят, поэтому стоит проверять покрытие кода мутационными тестами.

Первоисточник

habr.com ↗

Отправить в Telegram

Новость подготовлена с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.