Учет неопределенности в ансамблевых глубоких рандомизированных нейросетях
Новый метод UAdRVFL повышает устойчивость глубоких рандомизированных нейросетей к шуму и выбросам, учитывая неопределенность каждого примера. Это решает ключевую проблему существующих подходов, которые обрабатывают все данные одинаково.
Глубокие рандомизированные нейронные сети, такие как deep Random Vector Functional Link (dRVFL) и их ансамблевые версии (edRVFL), привлекли внимание исследователей благодаря высокой скорости обучения и способности работать с разнородными данными. Однако все существующие методы имеют общий недостаток: они одинаково обрабатывают каждый обучающий пример, не различая «чистые» данные и выбросы. Это существенно снижает робастность моделей в реальных условиях, где шум и аномалии неизбежны.
Что произошло
Группа исследователей представила на arXiv препринт, в котором предлагается новый подход — Uncertainty-Aware Ensemble Deep Randomized Neural Networks (UAdRVFL). В отличие от стандартных dRVFL и edRVFL, новая архитектура вводит механизм оценки неопределенности для каждого обучающего примера. Это позволяет модели по-разному взвешивать вклад разных образцов, снижая влияние зашумленных данных и предотвращая распространение искажённых признаков между скрытыми слоями.
Ключевая идея заключается в том, чтобы на этапе обучения вычислять метрику неопределенности для каждого образца — например, на основе дисперсии предсказаний базовых моделей в ансамбле. Затем эти метрики используются для перевзвешивания функции потерь, что делает обучение более устойчивым к выбросам. Авторы демонстрируют эффективность метода на нескольких синтетических и реальных наборах данных, показывая значительное улучшение точности классификации при наличии шума.
Почему это важно
Проблема равномерного взвешивания данных критична для многих приложений машинного обучения — от медицинской диагностики до анализа финансовых транзакций, где выбросы могут быть следствием ошибок измерений или мошеннических действий. Предложенный метод не только повышает робастность, но и предоставляет интерпретируемую оценку уверенности модели в каждом прогнозе. Это особенно ценно в задачах, где требуется объяснение принятия решений.
Кроме того, UAdRVFL сохраняет главные преимущества рандомизированных сетей — низкую вычислительную стоимость и простоту обучения. Используя ансамблирование и учет неопределенности, авторы добиваются результатов, сопоставимых или превосходящих современные глубокие нейронные сети, но без необходимости полного обратного распространения ошибки.
«Наш подход позволяет модели не только игнорировать зашумленные данные, но и количественно оценивать уверенность в своих прогнозах, что открывает путь к более надёжным и интерпретируемым системам ИИ» — отмечают авторы исследования.
Что дальше
Разработчики планируют расширить метод на задачи регрессии и многоклассовой классификации, а также интегрировать его с другими архитектурами, например, с сетями на основе случайных проекций. В будущем UAdRVFL может стать основой для создания адаптивных моделей, которые автоматически определяют степень доверия к данным в процессе обучения. Однако остаются и вопросы: как оптимально выбирать метрику неопределенности и как метод поведёт себя на сильно несбалансированных выборках? Ответы на них появятся в следующих публикациях.
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.