Мета-обучение промптами не переносится между пользователями: отрицательный результат
Исследователи проверили, можно ли персонализировать замороженные языковые модели с помощью мета-обучения в пространстве промптов. Результаты показали, что общая политика адаптации не переносится на новых пользователей, ставя под сомнение эффективность подхода.
Персонализация больших языковых моделей (LLM) — одна из ключевых задач современного ИИ. Однако полная тонкая настройка каждой модели под каждого пользователя часто непрактична из-за вычислительных затрат. Альтернативный подход — использовать замороженную (frozen) базовую модель и адаптировать её с помощью специально подобранных текстовых промптов. В последнее время набирает популярность идея рассматривать персонализацию как задачу мета-обучения: каждый пользователь — это отдельная задача, и нужно найти общую политику, которая по нескольким примерам взаимодействия пользователя настраивает промпт для этого пользователя.
Что произошло
В новой работе, опубликованной на arXiv, группа исследователей поставила эксперимент, чтобы проверить, действительно ли мета-обучение в пространстве промптов способно обобщать на новых пользователей. Они обучили политику адаптации на наборе пользователей, используя классические алгоритмы мета-обучения (например, MAML или его аналоги), а затем протестировали её на пользователях, не встречавшихся во время обучения. Результат оказался отрицательным: политика не показала значимого улучшения по сравнению с базовыми подходами, такими как случайный промпт или использование единого промпта для всех. Мета-обучение не смогло перенести знания между пользователями — производительность на новых пользователях была не выше случайной.
Почему это важно
Этот результат наносит серьёзный удар по надеждам на универсальную персонализацию замороженных моделей через мета-обучение. Ранее выходило множество работ, предлагающих именно такой фреймворк, и он считался элегантным решением проблемы холодного старта. Если мета-обучение не переносит паттерны адаптации между пользователями, значит, каждый пользователь требует индивидуального промпта, который нельзя вывести из данных других пользователей. Это поднимает вопрос о фундаментальных ограничениях пространства промптов: возможно, оно недостаточно богато для передачи сложных пользовательских предпочтений, или мета-обучение просто не справляется с высокой вариативностью пользовательских задач.
«Наши результаты показывают, что мета-обучение в пространстве промптов не способно обобщать на новых пользователей. Это ставит под сомнение эффективность данной парадигмы для персонализации замороженных LLM и требует пересмотра теоретических оснований такого подхода» — авторы исследования.
Что дальше
Отказ от мета-обучения не означает, что персонализация замороженных моделей невозможна. Среди альтернатив — использование более сложных адаптеров, таких как LoRA или обучение отдельных мягких промптов для каждого пользователя, пусть и с большим объёмом данных. Другой путь — гибридные методы, при которых базовая модель всё же частично дообучается, но с сохранением эффективности. Исследователям также предстоит понять, почему мета-обучение терпит неудачу: виновата ли нехватка разнообразия в обучающей выборке пользователей или принципиальная несовместимость между пользовательскими доменами. В любом случае, результат заставляет сообщество более критично отнестись к популярным гипотезам и искать более надёжные способы настройки LLM под конкретного человека.
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.