Геометрия — не робастность: новый взгляд на оценку PGD

Проекционный градиентный спуск (PGD) — один из самых популярных методов оценки устойчивости моделей машинного обучения к состязательным атакам. Однако, как показывают авторы нового препринта, опора исключительно на финальную состязательную точность может давать неполную картину. В работе 'Geometry Is Not Robustness: A Trajectory-Level Study of PGD Evaluation' предлагается взглянуть на процесс атаки как на траекторию, а не только на её результат.

Что произошло

Исследователи провели серию экспериментов, анализируя не только итоговую точность, но и динамику потерь, выравнивание градиентов и количество шагов до отказа (steps-to-failure) на протяжении всей PGD-атаки. Они обнаружили, что модели с одинаковой финальной точностью могут демонстрировать принципиально разное поведение на траектории: одни быстро «ломаются», другие держатся дольше. Более того, геометрические свойства ландшафта потерь (например, кривизна) не коррелируют с фактической робастностью, что опровергает некоторые распространённые гипотезы.

Почему это важно

Стандартная практика — оценивать робастность по последнему шагу PGD — может вводить в заблуждение. Если модель показывает высокую точность на финальном шаге, но на промежуточных шагах теряет уверенность, это говорит о скрытых уязвимостях. Траекторный анализ позволяет выявить такие эффекты, а также даёт более информативные метрики для сравнения алгоритмов защиты. Например, шаги до отказа могут служить индикатором «глубины» устойчивости.

Что дальше

Работа открывает новые направления для исследований: разработка методов тренировки, оптимизирующих траекторные метрики, а не только финальную точность; создание более надёжных протоколов тестирования; изучение связи между геометрией ландшафта и динамикой атаки. В перспективе это может привести к более строгим и реалистичным оценкам устойчивости нейросетей.