Исследователи Nvidia: большие контекстные окна ИИ часто избыточны
Группа исследователей Nvidia выяснила, что огромные контекстные окна языковых моделей часто дороги и не нужны. В тестах периодические саммари и целевой поиск работали не хуже, но стоили дешевле.
Исследователи из Nvidia пришли к выводу, что наращивание контекстных окон (объёма информации, которую модель удерживает в памяти при генерации ответа) до огромных размеров часто оказывается избыточным и дорогим. Современные языковые модели способны обрабатывать за раз целые романы — например, GPT 5.6 Sol работает с примерно одним миллионом токенов (единиц текста, например слов или их частей), что примерно в 120 раз больше, чем у GPT-4 в марте 2023 года, и достаточно для «Войны и мира» Толстого. Однако, по мнению команды Nvidia, такие возможности не всегда оправданы.
В ходе тестов исследователи сравнили работу моделей с огромными контекстными окнами и альтернативные подходы — периодическое составление кратких саммари (суммирование информации) и целевой поиск (выборочное обращение к нужным фрагментам). Оказалось, что эти методы показывают сопоставимые результаты, но обходятся значительно дешевле. Таким образом, гонка за увеличением контекстного окна не всегда приводит к улучшению качества.
Для бизнеса и разработчиков, работающих с ИИ, это означает, что не стоит гнаться за самыми большими контекстными окнами, если задача не требует обработки огромных объёмов данных за раз. Вместо этого можно использовать более экономичные стратегии — например, разбивать информацию на части или применять поиск по ключевым фрагментам. Это позволит снизить затраты на вычислительные ресурсы без потери качества результатов.
Первоисточник
Новость подготовлена с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.