DiffusionGemma от DeepMind: генерация текста в 4 раза быстрее
DeepMind представила DiffusionGemma — первую диффузионную модель для генерации текста, работающую в 4 раза быстрее традиционных авторегрессивных аналогов. Это открывает путь к более эффективным и отзывчивым языковым системам.
Большинство современных языковых моделей, включая GPT и LLaMA, генерируют текст авторегрессивно — слово за словом, последовательно. Это обеспечивает высокое качество, но ограничивает скорость: каждый новый токен зависит от предыдущего, что делает процесс линейным и медленным. Диффузионные модели, успешно применяемые в генерации изображений (DALL-E, Stable Diffusion), предлагают альтернативный подход — параллельное создание всех токенов через итеративное шумоподавление. Google DeepMind впервые адаптировала этот метод для текста, представив DiffusionGemma — модель, которая генерирует текст в 4 раза быстрее авторегрессивных аналогов.
Что произошло
В статье, опубликованной на сайте DeepMind, исследователи описывают DiffusionGemma — диффузионную модель, основанную на архитектуре Gemma. Вместо того чтобы предсказывать следующий токен, модель начинает с шумовой последовательности и постепенно очищает её, пока не получит осмысленный текст. Ключевое преимущество — параллелизм: все токены обновляются одновременно на каждом шаге денойзинга. Это позволяет сократить время генерации в 4 раза по сравнению с авторегрессивными моделями того же размера, сохраняя при этом сопоставимое качество. Модель была обучена на больших корпусах текстов и протестирована на задачах суммаризации, перевода и ответов на вопросы.
Почему это важно
Ускорение генерации текста в 4 раза — не просто инженерный трюк. Это меняет экономику развёртывания языковых моделей. Для приложений реального времени — чат-ботов, голосовых ассистентов, систем перевода — снижение задержки критично. Кроме того, диффузионные модели требуют меньше вычислительных ресурсов на этапе инференса, что делает их более доступными для устройств с ограниченной мощностью (например, смартфонов). Наконец, этот прорыв демонстрирует, что диффузионный подход, ранее считавшийся прерогативой изображений, вполне применим к дискретным данным, таким как текст, открывая новые направления для исследований.
«Диффузионные модели для текста долгое время оставались вызовом из-за дискретной природы языка. DiffusionGemma доказывает, что параллельная генерация не только возможна, но и может быть значительно быстрее авторегрессивных методов без потери качества. Это шаг к более эффективному ИИ» — из блога DeepMind.
Что дальше
Пока DiffusionGemma — исследовательский прототип, но DeepMind уже намекает на интеграцию технологии в свои продукты, включая Google Assistant и Bard. Впереди — работа над улучшением качества для сложных творческих задач (написание кода, длинные рассуждения) и оптимизация для различных размеров моделей. Если диффузионный подход станет стандартом, это может привести к появлению нового поколения языковых моделей, которые будут не только умными, но и молниеносными. Конкуренты, такие как OpenAI и Meta, также активно исследуют эту область, так что в ближайшие годы нас ждёт гонка за скорость в мире LLM.
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.