Data-DPO: Новая эра отбора данных для тонкой настройки LLM
Исследователи представили Data-DPO — метод, который переосмысляет отбор данных для обучения языковых моделей, учитывая совместимость с их текущими способностями. Это обещает снизить затраты на обучение без потери качества.
В мире больших языковых моделей (LLM) качество обучения напрямую зависит от данных. Однако не все данные одинаково полезны: избыточные или нерелевантные примеры могут не только увеличивать время обучения, но и ухудшать итоговые характеристики модели. Традиционные методы отбора данных рассматривают их ценность как статическую характеристику, игнорируя динамику взаимодействия между данными и текущим состоянием модели. Новый подход, предложенный в работе Data-DPO: Direct Preference Optimization for Target Model Data Selection in LLM Post-Training (arXiv:2608.16926), меняет эту парадигму.
Что произошло
Авторы представили метод Data-DPO, который использует технику прямого оптимизации предпочтений (Direct Preference Optimization) для отбора наиболее эффективных подмножеств данных для supervised fine-tuning (SFT). В отличие от статических методов, Data-DPO оценивает, насколько каждый образец данных совместим с текущим распределением способностей модели. Алгоритм ранжирует данные по степени их полезности для конкретной модели на конкретном этапе обучения, что позволяет отбирать только те примеры, которые действительно способствуют улучшению.
Почему это важно
Проблема неэффективного использования данных — одна из ключевых в современном машинном обучении. Сбор и разметка данных требуют огромных ресурсов, а обучение на всех доступных примерах может быть неоправданно дорогим. Data-DPO предлагает решение, которое позволяет сократить объем обучающих данных на 50–70% без потери точности, а в некоторых случаях — даже с её повышением. Это особенно актуально для компаний и исследовательских групп, которые не могут позволить себе обучение на гигантских датасетах.
«Мы показываем, что учёт совместимости данных с моделью на этапе отбора позволяет достичь того же или лучшего качества, чем обучение на полном датасете, при значительном снижении вычислительных затрат» — отмечают авторы исследования.
Что дальше
Data-DPO открывает путь к более адаптивным и экономичным процессам пост-тренировки LLM. В перспективе метод может быть интегрирован в автоматизированные пайплайны обучения, где отбор данных будет происходить динамически, в зависимости от текущего состояния модели. Это также может стимулировать развитие гибридных подходов, сочетающих Data-DPO с другими техниками оптимизации, такими как curriculum learning или активное обучение. Пока метод протестирован на нескольких эталонных датасетах, но его масштабируемость и применимость к мультимодальным моделям требуют дальнейших исследований.
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.