Передача знаний между моделями без обучения: новый метод прореживания по активациям
Исследователи предложили метод Activation-Guided Pruning для переноса знаний от большой модели к маленькой без дообучения. Подход работает даже при несовпадении архитектур и масштабов, открывая путь к эффективному улучшению компактных нейросетей.
В современном машинном обучении всё чаще возникает задача объединения моделей, различающихся по архитектуре, размеру или решаемым задачам. Такое гетерогенное слияние (heterogeneous model fusion) обещает создание более мощных и компактных систем, но традиционно требует трудоёмкого дообучения или сложной ручной настройки. Новое исследование, опубликованное на arXiv, предлагает элегантный подход, который обходится без дополнительного обучения, используя только активации исходных моделей.
Что произошло
Авторы работы «Training-Free Knowledge Transfer Across Model Scales through Activation-Guided Pruning» (arXiv:2608.13596) изучили ранее малоизученный сценарий: перенос знаний от более сильной модели-донора к маленькой модели-реципиенту при существенном архитектурном несоответствии. Они разработали метод Activation-Guided Pruning (AGP), который анализирует карты активаций обеих моделей на одном и том же наборе данных и на основе этого определяет, какие нейроны в реципиенте следует сохранить, а какие — удалить. Критически важно, что процесс не требует обратного распространения ошибки или градиентного спуска — вся операция выполняется за один проход по данным.
Почему это важно
Традиционные методы дистилляции знаний (knowledge distillation) требуют обучения студента на «мягких» метках учителя, что занимает значительное время и ресурсы. AGP предлагает альтернативу: вместо имитации поведения учителя он напрямую модифицирует структуру маленькой модели, удаляя нейроны, которые не согласуются с активациями донора. Это особенно ценно для развёртывания на устройствах с ограниченными вычислительными возможностями (IoT, мобильные телефоны), где дообучение невозможно или слишком дорого. Кроме того, метод работает для моделей с разными архитектурами, что расширяет область его применения.
«Мы впервые показываем, что знания могут быть перенесены между моделями разного масштаба без какого-либо обучения, просто через направленное прореживание на основе активаций. Это меняет взгляд на то, как можно улучшать компактные нейросети» — из текста препринта.
Что дальше
Несмотря на многообещающие результаты, остаются открытые вопросы. Например, насколько сильно качество переноса зависит от выбора данных для активаций? Можно ли масштабировать AGP на сценарии с несколькими донорами? Авторы планируют изучить комбинацию AGP с последующим минимальным дообучением, чтобы достичь ещё более высоких показателей. В более широком смысле работа открывает новое направление — «безобученческий» перенос знаний, который может стать основой для быстрых и лёгких методов улучшения моделей в промышленности.
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.