К содержанию
OpenAIРазбор · 3 мин чтения

OpenAI: агенты-кодеры потребляют больше токенов, чем зарплата исследователей

OpenAI опубликовала данные о росте использования внутренних ИИ-агентов. Теоретическая стоимость токенов превысила зарплаты исследователей, а агенты выполняют эквивалент 5,7 рабочих дней в сутки на одного учёного.

Коротко

  • Теоретическая стоимость токенов, потребляемых ИИ-агентами OpenAI, превысила базовые зарплаты исследователей.
  • Медианный исследователь потребляет токенов на $2400 в день, топ-10% — на $23 000 в день.
  • Агенты успешно справляются с рутинными задачами, но не имеют «вкуса» к хорошим идеям и требуют контроля человека.

OpenAI опубликовала второй отчёт об ускорении внутренних исследований, в котором раскрыла, насколько глубоко ИИ-агенты (программы, которые автономно выполняют задачи) встроены в разработку новых моделей. Компания заявляет, что документирует признаки так называемого рекурсивного самосовершенствования (RSI) — когда ИИ-системы ускоряют создание следующих поколений самих себя.

Что произошло

Согласно отчёту, использование внутренних инструментов Codex и Dots резко выросло. В октябре медианный исследователь потреблял токенов (единиц обработки текста) на $2400 в день по ценам API — на 62% больше, чем в сентябре. Среди 10% самых активных пользователей эта теоретическая стоимость удвоилась до $23 000 в день.

В пересчёте на восьмичасовой рабочий день агенты выполняют эквивалент 5,7 рабочих дней на одного исследователя в календарный день, а в группах предварительного и пост-обучения — около восьми. Более двух третей отслеживаемых исследователей одновременно запускали как минимум четыре агента в пиковые моменты.

Теоретический эквивалент API этого времени работы агентов в сентябре был вдвое выше обычных зарплат исследователей, не считая опционов на акции, которые составляют 70–80% общего вознаграждения в OpenAI. При этом внутреннее использование агентов составляет лишь 2% от общего вычислительного ресурса компании.

Успешность автономных агентов (без вмешательства человека) на задачах длительностью 2–4 часа выросла с 23% в марте до 46% в октябре. Для задач на 4–8 часов — с 13% до 35%. Однако агенты в основном справляются с простыми задачами: мониторинг тренировок завершают в 79% случаев, самостоятельно отвечают на технические вопросы в 72% случаев. Сложные инженерные задачи им удаются хуже: создание сред для оценки и обучения с подкреплением — 29%, написание кода для инференса (выполнения моделей) и сервисов — 25%.

В нерепрезентативном опросе 101 сотрудника исследователи в медиане сказали, что скорее согласились бы потерять 40% команды или 30% вычислительных мощностей, чем остаться на три месяца без текущих агентов-кодеров. В отдельном быстром опросе 28 сотрудников 27 предпочли последнюю внутреннюю модель инженеру-человеку середины карьеры.

Почему это важно

Качественные интервью с десятью исследователями выявили обратную сторону активного использования агентов: у моделей отсутствует «вкус» к хорошим исследовательским идеям и качеству кода и данных. Агенты уходят в ненужные шаги, делают неверные предположения в анализе и присылают «AI slop» — некачественные изменения кода и непригодные артефакты данных. Без пристального контроля человека вычислительные ресурсы тратятся впустую.

Ключевые концептуальные идеи для GPT-6 Astra и GPT-6.2 Astra в областях пост-обучения и безопасности, по словам опрошенных команд, исходили исключительно от людей. Только в предварительном обучении GPT-6.2 Astra отдельные исследователи отметили, что получили важные инсайты через диалог с Codex.

OpenAI предупреждает, что собранные данные о сотрудничестве человека и ИИ могут не экстраполироваться линейно. Компания указывает на недавние быстрые прорывы ИИ в математике и считает возможным, что аналогичные скачки могут произойти и в исследованиях глубокого обучения по мере роста автономности моделей.

Организация METR ранее оценила, что за 11 недель наблюдения внутри Anthropic использование ИИ почти вдвое ускорило темпы разработки. В своём первом отчёте об ускорении исследований в начале сентября OpenAI заявила, что достигла поставленной цели — автоматизированного ИИ-стажёра. Главный научный сотрудник Якуб Пахоцки в сопроводительном посте предупредил о потере контроля после аудита, выявившего многочисленные пробелы в системе надзора.

Источники

  1. the-decoder.com
Отправить в Telegram

Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.