К содержанию
ИИ Новость

METR: ИИ-модели отстают в задачах на суждение, но ускоряются в коде

Новый отчёт METR обновляет график временных горизонтов: некоторые способности ИИ растут экспоненциально, но модели хуже справляются с задачами, требующими суждения, чем с программированием. Это значит, что разработчикам и продакт-менеджерам стоит точнее оценивать, где автоматизация уже работает, а где пока нужен человек.

Некоммерческая организация METR, занимающаяся оценкой ИИ, опубликовала обновлённый отчёт, в котором проанализировала, как быстро модели справляются с задачами разной сложности. Выяснилось, что способности ИИ в некоторых областях продолжают расти по экспоненте: каждые четыре месяца длина задач, которые успешно выполняют передовые модели, удваивается. Однако этот прогресс в основном касается «верифицируемых» задач — например, программирования и математики, где можно автоматически проверить, верно ли решение. В таких сферах модели уже превосходят почти всех людей.

Гораздо хуже ИИ справляется с задачами, где успех сложно измерить и где требуется суждение. В одном из новых тестов METR попросил модели разработать собственные методики оценки для исследований организации — ни одна из предложенных не была признана полезной. В другом задании модели должны были оценивать философские аргументы, и здесь они тоже уступили людям. Хотя самые новые модели, например Opus 5.5, показывают «пограничные» результаты, ещё год назад все модели были «явно ниже планки».

Для тех, кто работает с ИИ, эти данные означают, что автоматизация хорошо работает на чётко определённых задачах с быстрой проверкой результата — например, в написании кода. Но в областях, где нужен выбор направления исследования, оценка качества или принятие решений в неоднозначных ситуациях, пока незаменим человек. Разработчикам и продакт-менеджерам стоит учитывать это при планировании: автоматизировать то, что можно проверить, и оставлять человеку задачи, требующие суждения.

Первоисточник

technologyreview.com ↗

Отправить в Telegram

Новость подготовлена с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.