Новые угрозы безопасности мультимодальных языковых моделей: обзор исследований

Мультимодальные большие языковые модели (MLLM) — одно из самых ярких достижений последних лет в области искусственного интеллекта. Они способны одновременно обрабатывать текст, изображения, аудио и видео, достигая синергетического эффекта и более глубокого понимания контекста. Однако эта интеграция гетерогенных модальностей через механизмы выравнивания (alignment) и слияния (fusion) радикально меняет ландшафт безопасности машинного обучения. Усложнение архитектуры и появление перекрёстных взаимодействий между модальностями порождают принципиально новые угрозы, которые не имеют аналогов в классических языковых моделях.

Что произошло

Группа исследователей опубликовала на arXiv препринт обзора «Evolving Safety Landscape of Multi-modal Large Language Models: A Survey of Emerging Threats and Safeguards» (arXiv:2608.07535v1). В работе систематизированы неизвестные ранее виды атак, возникающие именно из-за мультимодальной природы MLLM. Среди них — атаки на основе модальной неконсистентности (когда злоумышленник использует противоречия между текстом и изображением), «эскалация» вредоносного контента через одну модальность в другую, а также атаки, направленные на механизмы выравнивания, позволяющие «обойти» защитные фильтры модели. Обзор также охватывает новые методы защиты, включая адаптивное обучение с учётом мультимодальных рисков и специальные регуляризаторы.

Почему это важно

Ранее основное внимание в безопасности ИИ уделялось одномодальным языковым моделям (LLM), где уязвимости в основном сводились к инъекциям промптов, утечке данных и генерации вредоносного контента. MLLM вводят совершенно новое измерение: злоумышленник может манипулировать, например, изображением, которое при совместной обработке с текстом приводит к неожиданному поведению модели. Это создаёт риски для систем, где MLLM используются в реальном времени — от автономных автомобилей до медицинской диагностики по изображениям и тексту. Традиционные защитные механизмы, такие как fine-tuning на безопасных данных или фильтрация выходов, часто оказываются неэффективными против атак, эксплуатирующих именно модальную интеграцию. Обзор подчёркивает, что сообщество должно срочно пересмотреть подходы к аудиту и верификации мультимодальных систем.

Что дальше

Исследователи призывают к проактивному подходу: необходимо разрабатывать специализированные тестовые полигоны для мультимодальных атак, создавать синтетические наборы данных, имитирующие перекрёстные угрозы, и внедрять методы «защитного выравнивания» (defensive alignment) уже на этапе обучения модели. В обзоре также намечены направления для будущих работ, включая формальную верификацию устойчивости MLLM к модальным атакам и создание единых стандартов безопасности для мультимодальных систем. Публикация служит важным сигналом для разработчиков и регуляторов: с ростом числа промышленных внедрений MLLM безопасность должна стать неотъемлемой частью цикла разработки, а не дополнением постфактум.