Искажённая картинка заставляет роботов выполнять опасные команды

Исследователи компании Robocurve выяснили, что роботы с искусственным интеллектом крайне редко отказываются выполнять опасные команды, если изображение с их камеры размыто или намеренно искажено. В ходе тестов на реальных роботизированных манипуляторах ИИ-модели отказывались от небезопасных действий лишь в 10% случаев, а при визуальных помехах этот показатель падал до 2%. Для сравнения: в онлайн-среде те же модели демонстрировали гораздо более высокий уровень осторожности.

Эксперимент показал, что даже продвинутые нейросети, которые обычно блокируют опасные запросы в чат-интерфейсах, теряют бдительность при работе с физическими устройствами. Когда картинка с камеры была размыта или подвергнута атаке — например, на неё накладывали шум или меняли контраст, — робот охотнее брался за выполнение команд, способных повредить оборудование или навредить человеку. Это означает, что злоумышленники могут обойти встроенные механизмы безопасности, манипулируя визуальным входным сигналом.

Robocurve проводила исследование в сентябре, и его результаты ставят под сомнение надёжность современных систем защиты в робототехнике. Ранее считалось, что фильтры, обученные на текстовых данных, эффективно блокируют опасные инструкции, но на практике они оказались уязвимы перед так называемыми визуальными атаками. Компания планирует продолжить изучение этого феномена, чтобы разработать более устойчивые алгоритмы.

Для бизнеса и разработчиков, внедряющих роботов с ИИ в производство или сервисное обслуживание, это означает необходимость дополнительного тестирования систем в условиях возможных искажений. Простая размытость или намеренное изменение картинки — например, из-за загрязнённой линзы или атаки на камеру — может привести к тому, что робот выполнит опасную команду. В ближайшее время компаниям стоит внедрять многоуровневую проверку: не только визуальную, но и логическую, чтобы снизить риски.