OpenAI: агенты-кодеры потребляют больше токенов, чем зарплата исследователей
OpenAI опубликовала данные о росте использования внутренних ИИ-агентов. Теоретическая стоимость токенов превысила зарплаты исследователей, а агенты выполняют эквивалент 5,7 рабочих дней в сутки на одного учёного.
Коротко
- Теоретическая стоимость токенов, потребляемых ИИ-агентами OpenAI, превысила базовые зарплаты исследователей.
- Медианный исследователь потребляет токенов на $2400 в день, топ-10% — на $23 000 в день.
- Агенты успешно справляются с рутинными задачами, но не имеют «вкуса» к хорошим идеям и требуют контроля человека.
OpenAI опубликовала второй отчёт об ускорении внутренних исследований, в котором раскрыла, насколько глубоко ИИ-агенты (программы, которые автономно выполняют задачи) встроены в разработку новых моделей. Компания заявляет, что документирует признаки так называемого рекурсивного самосовершенствования (RSI) — когда ИИ-системы ускоряют создание следующих поколений самих себя.
Что произошло
Согласно отчёту, использование внутренних инструментов Codex и Dots резко выросло. В октябре медианный исследователь потреблял токенов (единиц обработки текста) на $2400 в день по ценам API — на 62% больше, чем в сентябре. Среди 10% самых активных пользователей эта теоретическая стоимость удвоилась до $23 000 в день.
В пересчёте на восьмичасовой рабочий день агенты выполняют эквивалент 5,7 рабочих дней на одного исследователя в календарный день, а в группах предварительного и пост-обучения — около восьми. Более двух третей отслеживаемых исследователей одновременно запускали как минимум четыре агента в пиковые моменты.
Теоретический эквивалент API этого времени работы агентов в сентябре был вдвое выше обычных зарплат исследователей, не считая опционов на акции, которые составляют 70–80% общего вознаграждения в OpenAI. При этом внутреннее использование агентов составляет лишь 2% от общего вычислительного ресурса компании.
Успешность автономных агентов (без вмешательства человека) на задачах длительностью 2–4 часа выросла с 23% в марте до 46% в октябре. Для задач на 4–8 часов — с 13% до 35%. Однако агенты в основном справляются с простыми задачами: мониторинг тренировок завершают в 79% случаев, самостоятельно отвечают на технические вопросы в 72% случаев. Сложные инженерные задачи им удаются хуже: создание сред для оценки и обучения с подкреплением — 29%, написание кода для инференса (выполнения моделей) и сервисов — 25%.
В нерепрезентативном опросе 101 сотрудника исследователи в медиане сказали, что скорее согласились бы потерять 40% команды или 30% вычислительных мощностей, чем остаться на три месяца без текущих агентов-кодеров. В отдельном быстром опросе 28 сотрудников 27 предпочли последнюю внутреннюю модель инженеру-человеку середины карьеры.
Почему это важно
Качественные интервью с десятью исследователями выявили обратную сторону активного использования агентов: у моделей отсутствует «вкус» к хорошим исследовательским идеям и качеству кода и данных. Агенты уходят в ненужные шаги, делают неверные предположения в анализе и присылают «AI slop» — некачественные изменения кода и непригодные артефакты данных. Без пристального контроля человека вычислительные ресурсы тратятся впустую.
Ключевые концептуальные идеи для GPT-6 Astra и GPT-6.2 Astra в областях пост-обучения и безопасности, по словам опрошенных команд, исходили исключительно от людей. Только в предварительном обучении GPT-6.2 Astra отдельные исследователи отметили, что получили важные инсайты через диалог с Codex.
OpenAI предупреждает, что собранные данные о сотрудничестве человека и ИИ могут не экстраполироваться линейно. Компания указывает на недавние быстрые прорывы ИИ в математике и считает возможным, что аналогичные скачки могут произойти и в исследованиях глубокого обучения по мере роста автономности моделей.
Организация METR ранее оценила, что за 11 недель наблюдения внутри Anthropic использование ИИ почти вдвое ускорило темпы разработки. В своём первом отчёте об ускорении исследований в начале сентября OpenAI заявила, что достигла поставленной цели — автоматизированного ИИ-стажёра. Главный научный сотрудник Якуб Пахоцки в сопроводительном посте предупредил о потере контроля после аудита, выявившего многочисленные пробелы в системе надзора.
Источники
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.