LLM научились подбирать ширину нейросетей в замкнутом цикле

Оптимизация гиперпараметров нейросетей традиционно требует перебора комбинаций вручную или с помощью дорогих алгоритмов. Недавние работы показали, что большие языковые модели (LLM) могут самостоятельно генерировать конфигурации ширины слоёв в виде исполняемого кода и корректировать их на основе точности, образуя замкнутый цикл. Однако первые эксперименты проводились на разреженной сетке оценок, что оставляло вопросы о масштабируемости метода.

Что произошло

Авторы препринта arXiv:2607.20516 провели серию экспериментов, в которых LLM (на базе GPT-4) предлагала варианты ширины для свёрточных и полносвязных слоёв. Каждая конфигурация компилировалась, запускалась на задаче классификации (CIFAR-10), и точность возвращалась модели как сигнал для следующей итерации. В новой работе исследователи увеличили плотность точек оценки: вместо 10–20 вариантов на этап они использовали до 100 конфигураций, чтобы проверить, сохраняется ли сходимость.

Почему это важно

Результаты показали, что LLM сохраняет способность улучшать точность даже при плотной выборке, хотя эффективность поиска немного снижается из-за роста шума в обратной связи. Это означает, что метод может быть масштабирован на реальные архитектуры с сотнями слоёв без потери качества. Кроме того, подход не требует предварительного обучения или градиентов — только текстового описания задачи и метрики качества.

Что дальше

Авторы планируют расширить метод на другие гиперпараметры (глубина, тип активации, размер ядра) и проверить его на более сложных датасетах (ImageNet). Также обсуждается возможность интеграции с reinforcement learning для ускорения сходимости. Если подход подтвердится, он может стать основой для полностью автономных систем проектирования нейросетей, где инженеру остаётся только задать задачу и метрику.