Исследователи обнаружили спонтанную разреженность в нейросетях DRL
Ученые выявили неожиданный эффект: агенты глубокого обучения с подкреплением, использующие замороженные случайные сверточные экстракторы, спонтанно формируют крайне разреженные полносвязные представления без явных методов регуляризации.
Глубокое обучение с подкреплением (DRL) традиционно требует тщательной настройки архитектуры и большого объема вычислений. Однако недавняя работа, опубликованная на arXiv (2607.26059v1), демонстрирует удивительное явление: при использовании замороженных, случайно инициализированных сверточных экстракторов признаков агенты DRL спонтанно развивают экстремально разреженные представления в первом полносвязном слое (FC1: 3136→64), причем без каких-либо целей, стимулирующих разреженность.
Что произошло
Исследователи провели серию экспериментов с агентами DRL, где сверточная часть сети была заморожена и инициализирована случайными весами. Анализ активаций в FC1 показал, что в процессе обучения агенты сжимают релевантную информацию до 1–3 активных нейронов из 64, остальные остаются неактивными. Это противоречит интуиции, так как обычно разреженность требует специальных методов, таких как L1-регуляризация или dropout.
Почему это важно
Открытие имеет значительные последствия для понимания работы нейросетей в DRL. Во-первых, оно показывает, что случайные признаки могут быть эффективно сжаты без потери производительности. Во-вторых, разреженность может снижать вычислительные затраты и улучшать интерпретируемость моделей. Авторы предполагают, что такой механизм является формой естественной регуляризации, возникающей из-за ограниченной пропускной способности полносвязного слоя.
«Мы наблюдаем, что агенты учатся игнорировать шумные или избыточные признаки, оставляя лишь несколько ключевых нейронов, что напоминает принцип работы разреженного кодирования в биологических системах», — отмечают авторы статьи.
Что дальше
Результаты открывают путь к созданию более эффективных DRL-алгоритмов, где замороженные случайные экстракторы могут заменить дорогостоящее обучение сверточных слоев. Дальнейшие исследования могут быть направлены на изучение универсальности этого феномена для различных сред и архитектур, а также на использование спонтанной разреженности для ускорения вывода и уменьшения энергопотребления в реальных приложениях.
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.