MARCH: новый подход к масштабированию рекуррентной памяти для длинных контекстов

Трансформеры стали стандартом для моделей с длинным контекстом, благодаря токен-уровневой памяти, растущей с длиной последовательности. Однако эта гибкость обходится дорого: квадратичная сложность вычислений при обучении и линейно растущий кэш ключей-значений при авторегрессивном выводе. Рекуррентные альтернативы, такие как RWKV или Mamba, предлагают эффективный декодинг за счёт сжатия всей истории в фиксированное состояние, но часто жертвуют качеством извлечения информации. Новая работа «MARCH: Scaling Recurrent Memory with Content-Routed State Anchors» предлагает компромиссное решение.

Что произошло

Группа исследователей представила MARCH (Memory-Augmented Recurrent Content-routed Head). Основная идея — сохранить преимущества рекуррентных архитектур (постоянное время вывода, фиксированный размер памяти), но значительно улучшить способность модели извлекать информацию из длинных последовательностей. Для этого вводятся «контентно-маршрутизируемые якоря состояний» (content‑routed state anchors). Каждый такой якорь динамически активируется в зависимости от текущего контекста, что позволяет модели эффективно «вспоминать» релевантные части прошлой информации, не храня всё дословно. Авторы показывают, что MARCH конкурирует с Transformer’ами на задачах long‑context retrieval (например, в бенчмарках LongBench, RULER), при этом требует на порядок меньше памяти и вычислений при инференсе.

Почему это важно

Рекуррентные модели долгое время не могли сравниться с трансформерами по способности к точному извлечению фактов из длинного текста. MARCH демонстрирует, что с помощью правильно спроектированных механизмов маршрутизации можно сохранить постоянную сложность декодинга, не жертвуя качеством. Это открывает путь к развёртыванию мощных моделей на устройствах с ограниченными ресурсами (например, на мобильных телефонах или в реальном времени), где линейный рост кэша KV недопустим. Кроме того, снижение вычислительной сложности обучения означает, что можно тренировать модели с существенно большей длиной контекста при тех же затратах.

Что дальше

Хотя результаты многообещающие, ещё предстоит провести масштабное тестирование на более широком спектре задач (включая генерацию кода, многоязыковые сценарии, мультимодальные данные). Также потребуется исследовать, как метод масштабируется при увеличении числа параметров — текущие эксперименты проводились на моделях размером до 1.4B параметров. Вероятно, мы увидим интерес к гибридным подходам, сочетающим сильные стороны трансформеров (точное внимание) и рекуррентных моделей (эффективность). MARCH задаёт вектор, в котором направление «контентная маршрутизация» станет важным инструментом для разработчиков LLM.