Forward Pass Domain Adaptation: новый метод тонкой настройки LLM без обратного прохода

Традиционная тонкая настройка больших языковых моделей (LLM) требует полного обратного распространения ошибки через все слои, что потребляет огромные вычислительные ресурсы и память. Новый метод, предложенный в препринте arXiv:2608.14563, предлагает радикально иной подход — Forward Pass Only (FPO). Он позволяет адаптировать модель под новую предметную область, выполняя только прямой проход и избегая затратного обратного распространения через основное тело сети.

Что произошло

Авторы метода FPO (Forward Pass Only) предложили обучать только MLP-слои языковой модели, используя специальную процедуру, не требующую обратного распространения через всю архитектуру. В основе лежит эмпирическое наблюдение: для эффективной доменной адаптации достатоно обновлять веса только в многослойных перцептронах (MLP), причем градиенты можно получать на основе одного прямого прохода, минуя цепочку обратного распространения. Этого удалось добиться с помощью модифицированного пакета обучения, который вычисляет локальные градиенты внутри MLP-блоков.

Экспреименты показали впечатляющие результаты: пропуская способность (throughput) увеличилась в 2.7–3.2 раза по сравненио со стандартной тоной настройкой, а пиковое потребление памяти снизилось примерно на 40%. При это качество на задачах, выходящих за пределы целевой домены (off-domain), осталось в пределах шума семени, то есть метод не ухушает общую произвдительность модели в отличие от полной тонкой настройки, которая часто приводит к забыванию.

Почему это важно

Для индустрии исскуственного инлеллекта это означает возможность на порядок снизить затраты на дообучение моделей. Компании и исследовательские группы, не имеющие доступа к сотням GPU, смогут эффективно адаптировать большие языковые модели под конкретные задачи. Кроме того, снижение пиковой памяти позволяет рботать с моделями болшего размера на доступном оборудовании. Отсутствие деградации на off-domain задачах делает FPO особенно ценным для мноозадачных сценариев.

Что дальше

Хотя результаты обещают резкое ускорение и экономию ресурсов, остаются вопросы: как поведет себя метод при адаптации к очень разным доменам, можно ли применить его к другим архитектурам, таким как смешанные эксперты (MoE) или модели с механизмами внимания без MLP? Авторы планируют протестировать FPO на более широком наборе моделей и задач. В ближайшее время можно ожидать появления открытых реализаций, которые позволят сообществу самостоятельно воспроизвести и расширить результаты. Если метод подтвердится, он может стать стандартным инструментом для быстрой и дешевой адаптации языковых моделей под конкретные нужды.