Progressive²: новый метод дистилляции знаний для сжатия моделей ИИ
Исследователи представили Progressive² — метод, в котором учитель и ученик совместно эволюционируют, что позволяет существенно сжимать модели без потери качества. Результаты открывают путь к эффективному развёртыванию ИИ на устройствах с ограниченными ресурсами.
Дистилляция знаний (Knowledge Distillation, KD) — популярный подход, при котором большая «учительская» модель передаёт свои знания компактной «ученической» модели. Это позволяет уменьшить размер модели, сохраняя производительность, что критически важно для развёртывания ИИ на мобильных устройствах, IoT и в условиях ограниченной вычислительной мощности. Однако традиционные методы KD часто сталкиваются с дилеммой: либо ученик недополучает знания, либо учитель остаётся статичным, что ограничивает потенциал сжатия.
Что произошло
В новой работе, опубликованной на arXiv (идентификатор 2608.00129), группа исследователей предложила метод Progressive² (Progressive Squared), который радикально меняет парадигму KD. Вместо того чтобы фиксировать учителя и обучать только ученика, авторы вводят процесс совместной прогрессивной эволюции: учитель и ученик периодически обновляются, постепенно усложняя задачу. Учитель сначала «огрубляется» (pruning), а затем заново дообучается вместе с учеником, что позволяет ученику постепенно осваивать всё более тонкие паттерны. Цикл повторяется до достижения целевого сжатия, при этом оба участника улучшают свои способности.
Почему это важно
Метод Progressive² решает ключевую проблему: традиционная KD даёт хорошие результаты при умеренном сжатии, но при сильном — точность резко падает. Совместная эволюция позволяет учителю «подтягиваться» к сложности ученика, а ученику — учиться на более релевантных примерах. Эксперименты на наборах данных CIFAR-100 и ImageNet показали, что Progressive² превосходит существующие методы (включая KD, FitNet, CRD и др.) по точности при одинаковом уровне сжатия, иногда достигая сжатия в 10 раз без значительной потери качества. Это может существенно повлиять на индустрию: уменьшение размера моделей ИИ без потери производительности позволит развёртывать сложные нейросети на периферийных устройствах, снижая затраты на облачные вычисления и улучшая время отклика (QoS).
«Наш подход превращает дистилляцию из статического процесса в динамическое соревнование-сотрудничество, где учитель и ученик вместе достигают более высокого качества, чем при раздельном обучении», — отмечают авторы исследования.
Что дальше
Хотя Progressive² пока протестирован на задачах классификации изображений, общая идея совместной прогрессивной эволюции может быть распространена на другие модальности (текст, речь, видео) и архитектуры, включая трансформеры. В перспективе метод может лечь в основу автоматизированных систем сжатия моделей, где учитель и ученик адаптируются к требованиям конкретного приложения. Однако остаются вопросы: как оптимально выбирать темп эволюции и как избежать переобучения при многократных циклах. Дальнейшие исследования помогут уточнить эти аспекты, но уже сейчас Progressive² демонстрирует, что будущее сжатия ИИ — за динамическими и кооперативными методами.
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.