Иерархический отбор данных для дообучения LLM: покрытие многообразия и разреженные признаки
Новый метод отбора данных для supervised fine-tuning использует иерархический подход, основанный на покрытии многообразия и разреженном покрытии признаков, что позволяет снизить затраты на обучение и улучшить производительность LLM.
С ростом объёмов данных для контролируемого дообучения (supervised fine-tuning, SFT) крупных языковых моделей (LLM) критически важной становится задача выбора наиболее ценных подмножеств из огромных пулов кандидатов. Существующие методы часто измеряют разнообразие непосредственно в исходном пространстве эмбеддингов, где геометрические метрики смешивают доминирующие семантические направления, что затрудняет выделение тонких контролирующих сигналов. Новая работа, представленная на arXiv, предлагает иерархический подход, который решает эту проблему.
Что произошло
Группа исследователей опубликовала препринт «Hierarchical Data Selection via Manifold Coverage and Sparse Feature Coverage in LLM Post-training» (arXiv:2608.16927v1). В работе представлен двухуровневый метод отбора данных: на первом уровне используется покрытие многообразия (manifold coverage) для глобального учёта структуры данных, на втором — разреженное покрытие признаков (sparse feature coverage) для локального контроля разнообразия по отдельным признакам. Такой подход позволяет избежать запутывания семантических направлений и извлекать более информативные подмножества для дообучения.
Почему это важно
Традиционные методы отбора данных, такие как случайная выборка или кластеризация, часто не учитывают внутреннюю геометрию данных и могут приводить к избыточности или потере редких, но важных примеров. Новый метод явно моделирует как глобальную структуру (многообразие), так и локальную разреженность признаков, что позволяет сохранять тонкие нюансы, критичные для downstream-задач. Это особенно актуально для пост-тренинга LLM, где каждый дополнительный пример может существенно влиять на поведение модели.
«Используя иерархическое покрытие, мы можем выделить подмножество данных, которое одновременно репрезентативно для всего многообразия и содержит редкие, но информативные признаки, что напрямую снижает стоимость обучения без потери качества» — отмечают авторы в препринте.
Что дальше
Разработчики планируют протестировать метод на более широком спектре моделей и задач, включая многомодальные сценарии. В перспективе такой подход может стать стандартом для подготовки обучающих выборок в индустриальных пайплайнах дообучения LLM, особенно в условиях ограниченных вычислительных ресурсов. Уже сейчас метод демонстрирует улучшение метрик при сокращении объёма данных на 30–50% по сравнению с базовыми стратегиями.
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.