NIST выпустил таксономию атак на ИИ-агентов

Национальный институт стандартов и технологий США (NIST) представил проект документа SP 2400-102 E2026, в котором впервые систематизированы возможные атаки на ИИ-агентов — программных помощников, способных самостоятельно принимать решения и выполнять действия. Ранее NIST уже выпускал рекомендации по безопасности для обычных моделей машинного обучения, но новый стандарт учитывает специфику агентов, которые могут взаимодействовать с внешними сервисами и изменять своё поведение в реальном времени.

В рамках таксономии описываются способы вмешательства в работу агента на разных этапах: от внедрения вредоносных инструкций в момент запроса до манипуляции памятью или инструментами, которыми агент пользуется. Отдельно разбираются сценарии испытаний, позволяющие проверить устойчивость системы к таким атакам. Документ предназначен для согласования модели угроз между разработчиком и заказчиком, чтобы обе стороны понимали, какие риски считаются критическими.

Для бизнеса и инженеров, внедряющих ИИ-агентов (например, в чат-боты поддержки или системы автоматизации), этот проект означает появление единого языка для обсуждения безопасности. Теперь при заказе разработки можно ссылаться на конкретные пункты таксономии, а не описывать угрозы абстрактно. Если документ будет принят, он станет первым стандартом, который обяжет исполнителя учитывать атаки, специфичные именно для агентов, а не только для простых моделей.