CurveFP: рационально-радиксные логарифмические типы данных для языковых моделей
Исследователи представили CurveFP — новый формат низкой точности, который сохраняет замкнутость произведений и использует рациональный радикс для настройки динамического диапазона. Это позволяет снизить затраты языковых моделей без потери качества.
Разработка эффективных форматов низкой точности остаётся одной из ключевых задач оптимизации больших языковых моделей (LLM). Традиционные форматы, такие как FP8 или FP16, хорошо сохраняют скалярную точность, но игнорируют арифметику, возникающую при умножении чисел в рамках нейросетевых операций. Новая работа на arXiv (ID: 2608.10010) предлагает принципиально иной подход — CurveFP, семейство кодовых книг с замкнутыми произведениями, которое распределяет квантованные величины по перемежающимся логарифмическим кривым с компактными блоковыми масштабами.
Что произошло
Авторы вводят понятие «замкнутости произведения» (closed product): результат умножения двух чисел из формата должен оставаться в том же формате без дополнительного переквантования. CurveFP достигает этого за счёт использования рационального радикса — нецелого основания логарифмической шкалы, которое настраивает динамический диапазон. В отличие от стандартных логарифмических форматов, где квантование равномерно по логарифму, CurveFP чередует несколько логарифмических кривых с разными наклонами, что позволяет точнее аппроксимировать реальное распределение весов и активаций в LLM. Эксперименты на моделях размером до 70 млрд параметров показывают, что CurveFP с 4-битным квантованием достигает качества, сопоставимого с 8-битными форматами, при значительном сокращении памяти и вычислительных затрат.
Почему это важно
Проблема «замкнутости произведения» критична для аппаратного ускорения: если результат умножения не помещается в исходный формат, приходится тратить ресурсы на повторное квантование или использовать более широкие типы. CurveFP решает эту проблему на уровне дизайна формата, что делает его особенно привлекательным для специализированных нейроускорителей (NPU, TPU, аналоговых чипов). Более того, рациональный радикс позволяет гибко подстраивать компромисс между точностью и динамическим диапазоном без переключения между разными форматами. Для индустрии это означает потенциальное снижение стоимости инференса и дообучения LLM на порядок при сохранении качества, что может ускорить внедрение ИИ в ресурсоограниченных сценариях.
«Наша работа показывает, что замкнутость произведений — не просто удобное свойство, а необходимое условие для эффективного аппаратного выполнения. CurveFP впервые объединяет это свойство с логарифмическим квантованием, что открывает путь к суб-4-битным форматам для больших моделей». — из аннотации к статье.
Что дальше
Разработка CurveFP находится на стадии теоретического обоснования и симуляционных экспериментов. Следующим шагом, вероятно, станет реализация в программных фреймворках (например, в библиотеках квантования Hugging Face или TensorRT) и создание прототипов специализированных вычислительных блоков. Если подход подтвердит свою эффективность на более широком спектре архитектур (включая мультимодальные модели), он может стать основой для нового поколения малоразрядных форматов. Также возможно появление гибридных схем, где CurveFP используется для части слоёв, а для других остаются традиционные форматы. В долгосрочной перспективе это может привести к пересмотру стандартов низкоточных вычислений в ИИ-индустрии.
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.