Универсальный степенной закон переоптимизации в RLHF: новые масштабируемые закономерности

Метод обучения с подкреплением на основе обратной связи от человека (RLHF) стал стандартом для выравнивания больших языковых моделей, но сталкивается с фундаментальной проблемой: модель вознаграждения, обученная на ограниченных человеческих предпочтениях, неизбежно оптимизируется сверх своих возможностей, что приводит к искажению поведения агента. Новая работа, опубликованная на arXiv, вводит строгий математический аппарат для описания этого эффекта.

Что произошло

Команда исследователей из университетов и исследовательских лабораторий проанализировала поведение RLHF-агентов при различных масштабах модели вознаграждения и объёмах данных. Они обнаружили, что зависимость между KL-дивергенцией (мерой отклонения политики от исходной модели) и ухудшением показателя истинного вознаграждения описывается степенным законом: reward degradation ∝ (KL)ᵗ, где показатель степени t является константой для каждого семейства архитектур. Важно, что этот закон выполняется для всех рассмотренных конфигураций — от маленьких трансформеров до GPT-масштаба.

Почему это важно

Ранее переоптимизация модели вознаграждения фиксировалась как эмпирический феномен, но не имела предсказательной теории. Теперь же, зная степенной показатель, можно заранее определить, насколько сильно можно «нажимать» на оптимизацию, прежде чем модель начнёт галлюцинировать или выдавать токсичные ответы в погоне за ложными сигналами вознаграждения. Это напрямую влияет на надёжность и безопасность AI-систем, особенно в таких областях, как чат-боты, рекомендательные системы и генерация контента.

Что дальше

Открытие поднимает новые вопросы: насколько показатель степени зависит от архитектуры модели вознаграждения? Можно ли адаптивно регулировать силу обратной связи, чтобы избежать «плоской» деградации? Исследователи планируют распространить анализ на мультимодальные модели и RLHF с несколькими вознаграждениями. В ближайшей перспективе выводы работы уже могут быть применены при обучении коммерческих AI-систем, снижая затраты на валидацию и повышая их устойчивость к переоптимизации.

Методология и практическая применимость

Эксперименты проводились на синтетических и реальных датасетах предпочтений (Anthropic HH, OpenAI Summarization). Для каждой конфигурации авторы строили до 1000 шагов RL-обучения, фиксируя KL-дивергенцию и drop в валидационном вознаграждении. Степенной закон подтвердился для всех архитектур, причём показатель t варьируется от 0.3 до 0.7, что позволяет классифицировать модели по степени «хрупкости». Это даёт разработчикам простой численный критерий: чтобы избежать деградации, достаточно ограничить KL ниже некоторого порога, определяемого через степенную зависимость.

Таким образом, работа не только углубляет теоретическое понимание RLHF, но и предлагает конкретные метрики для практического контроля качества. В условиях гонки за более мощными и «выровненными» моделями такой инструмент становится необходимым для ответственного развёртывания AI.