C$^2$MOE: Новая модель ИИ для эмоций при неполных данных
Исследователи представили C$^2$MOE — гибридную модель, которая сохраняет точность распознавания эмоций в диалогах даже при потере части модальностей (аудио, видео, текст). Метод основан на принципах согласованности и взаимодополняемости.
Мультимодальное распознавание эмоций в разговорах (MERC) — одна из самых быстрорастущих областей искусственного интеллекта. Оно объединяет текст, аудио и видео, чтобы точнее понимать эмоциональное состояние собеседников. Однако на практике данные часто приходят с пропусками: пользователь может отключить камеру, микрофон или отправить только текстовое сообщение. Это резко снижает качество предсказаний традиционных моделей.
Что произошло
Группа исследователей представила архитектуру C$^2$MOE (Consistency and Complementarity-guided Mixture of Experts), которая решает проблему неполных модальностей. Вместо того чтобы полагаться на все три канала одновременно, модель использует ансамбль «экспертов» — специализированных подсетей, каждая из которых обучена работать с определённым набором доступных модальностей. Два ключевых принципа — согласованность (consistency) и взаимодополняемость (complementarity) — позволяют системе извлекать максимум информации из того, что доступно.
Почему это важно
Проблема неполных данных — одна из главных преград на пути внедрения мультимодальных систем в реальные приложения: от виртуальных ассистентов до психотерапевтических чат-ботов. C$^2$MOE демонстрирует, что можно не просто «выживать» при потере модальностей, но и сохранять высокую точность. На стандартных бенчмарках модель показала прирост до 8-12% по сравнению с существующими методами при отсутствии одной или двух модальностей.
«Наша работа впервые показывает, что принципы согласованности и взаимодополняемости могут быть эффективно объединены в рамках Mixture of Experts для устойчивого мультимодального обучения», — отмечают авторы исследования.
Что дальше
Разработчики планируют адаптировать C$^2$MOE для потоковой обработки в реальном времени, а также расширить поддержку других модальностей, таких как физиологические сигналы. В перспективе модель может лечь в основу эмоционально-чувствительных интерфейсов, которые не ломаются при сбоях в сенсорах. Исследование опубликовано на arXiv и открыто для рецензирования.
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.