LARA: лёгкая адаптация в остаточном потоке для композируемого обучения
Исследователи представили LARA — метод эффективной адаптации больших языковых моделей, который работает в остаточном потоке, а не в весах. В отличие от LoRA, LARA добавляет низкоранговую коррекцию к скрытым состояниям, что позволяет композировать несколько адаптеров без конфликтов. Метод обещает снизить затраты на дообучение и упростить мультизадачное обучение.
Современные большие языковые модели (LLM) требуют огромных вычислительных ресурсов для полного дообучения под каждую новую задачу. Методы параметрически эффективного обучения, такие как LoRA (Low-Rank Adaptation), позволяют адаптировать модель, добавляя небольшие низкоранговые матрицы к весам, но они имеют ограничения: при композиции нескольких адаптеров возникают конфликты, и каждый адаптер занимает память, пропорциональную размеру слоя. Новая работа, представленная на arXiv, предлагает альтернативный подход — LARA (Lightweight Additive Residual Adaptation), который переносит адаптацию из пространства весов в остаточный поток модели.
Что произошло
Группа исследователей разработала LARA — метод, который вместо модификации весовых матриц вносит низкоранговые коррекции непосредственно в скрытые состояния (residual stream) на небольшом наборе слоёв. Адаптер LARA представляет собой небольшую нейронную сеть, которая читает скрытое состояние на определённом слое, преобразует его через низкоранговую проекцию и добавляет результат обратно в поток. Таким образом, LARA не затрагивает исходные веса модели, что позволяет сохранять её неизменной и использовать один базовый экземпляр для множества задач. В экспериментах на задачах генерации текста и понимания языка LARA показала сопоставимую или лучшую точность по сравнению с LoRA при значительно меньшем количестве обучаемых параметров (до 8 раз меньше) и упрощённой композиции нескольких адаптеров.
Почему это важно
Главное преимущество LARA — возможность композировать несколько адаптеров без конфликтов, так как каждый адаптер работает независимо в остаточном потоке и не интерферирует с весами других. Это открывает путь к модульным и масштабируемым решениям: можно комбинировать адаптеры для разных доменов, стилей или задач, просто складывая их выходы. Кроме того, LARA снижает требования к памяти: адаптеры хранятся отдельно и могут быть загружены по мере необходимости, а базовая модель остаётся общей. Для сообщества это означает возможность создания библиотек лёгких адаптеров, которые пользователи могут комбинировать под конкретные нужды без дообучения всей модели.
«LARA позволяет адаптировать модель, не трогая её веса, что открывает путь к композируемым и масштабируемым решениям. Мы показали, что даже с очень малым числом параметров можно достичь высокой точности, сравнимой с полным дообучением», — отмечают авторы исследования.
Что дальше
Метод LARA находится на ранней стадии, но уже демонстрирует потенциал для применения в системах, где требуется быстрая адаптация под множество задач — например, в персонализированных ассистентах, мультиязычном переводе или генерации контента с контролируемым стилем. Дальнейшие исследования могут быть направлены на оптимизацию выбора слоёв для размещения адаптеров, а также на изучение взаимодействия LARA с другими методами сжатия и дистилляции. В перспективе LARA может стать основой для нового поколения эффективных адаптеров, которые будут работать как «плагины» для больших моделей, не требуя переобучения всей системы.
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.