BF1: новый метод разреженного внимания для эффективных трансформеров

Модели-трансформеры, лежащие в основе современных языковых систем, традиционно используют плотное механизм внимания, где каждый токен вычисляет взаимодействие со всеми предыдущими. Это приводит к квадратичной сложности O(n²) по длине последовательности, что делает обработку длинных контекстов (от десятков тысяч токенов) крайне затратной даже при использовании оптимизированных ядер. В новой работе, опубликованной на arXiv (2608.20427v1), исследователи предлагают BF1 — детерминированный блочно-выровненный диадический разреженный паттерн внимания, который существенно снижает вычислительную нагрузку, сохраняя при этом репрезентативную способность.

Что произошло

Авторы представили BF1 (Block First 1) — метод, который комбинирует три компонента: небольшую точную локальную окрестность (например, последние 512 токенов), глобальный первый блок (все токены первого блока последовательности) и логарифмически расположенные исторические блоки (с шагом, растущим по мере удаления от текущей позиции). Такая структура напоминает ранее известные log-sparse и dilated attention, но обладает рядом преимуществ: она детерминирована, не требует обучения разреженности, проста в реализации на современных аппаратных ускорителях и может быть «прикручена» к любой существующей модели трансформера в качестве замены плотного внимания. Исследователи провели эксперименты на задачах моделирования языка и длинных контекстов, показав снижение вычислительной сложности до O(n log n) при минимальной потере качества.

Почему это важно

Проблема квадратичной сложности внимания долгое время оставалась главным узким местом для масштабирования контекстных окон. Различные подходы, такие как sparse attention, FlashAttention, линейное внимание, предлагали компромиссы, но часто жертвовали точностью или требовали сложной настройки. BF1 примечателен тем, что использует простую, но эффективную эвристику: локальная информация обрабатывается плотно (что важно для точности), а глобальный контекст захватывается через логарифмически редкие блоки, имитируя структуру внимания человека. Это позволяет обрабатывать контексты длиной в миллионы токенов на обычных ускорителях, открывая новые возможности для анализа документов, диалогов с долгой памятью, обработки кода и мультимодальных данных. Кроме того, метод ортогонален другим оптимизациям (например, кэшированию KV-состояний) и может быть интегрирован в существующие фреймворки (PyTorch, JAX) без значительных изменений.

Что дальше

В ближайшей перспективе BF1 может быть протестирован в крупных языковых моделях (LLM) с контекстными окнами более 128 тысяч токенов, где обычные оптимизации уже не справляются. Авторы планируют открыть код и провести сравнительные бенчмарки с другими sparse-методами (например, Longformer, BigBird, Reformer). Если результаты подтвердятся на практике, BF1 может стать стандартным компонентом для эффективного внимания в новых версиях GPT, LLaMA и других моделей, а также найти применение в задачах, где важна линейная или почти линейная масштабируемость — от анализа научных статей до обработки видео и геномных данных. Параллельно исследователи изучают возможность адаптивной настройки параметров BF1 (размера локального окна, плотности логарифмических блоков) под конкретные задачи.