Пять способов поймать галлюцинации ИИ-агента до того, как они попадут в работу

В блоге n8n вышел разбор методов обнаружения галлюцинаций в воркфлоу с ИИ-агентами. Галлюцинация модели — это уверенный ответ, который не соответствует фактам или данным. Агент — программа на основе языковой модели, которая сама выполняет действия. Текст обзорный, без новых функций продукта, но с понятной схемой, которую можно применить в любой автоматизации.

Что произошло

Авторы — команда n8n и Юлия Дмитриевна — объясняют, почему галлюцинация в агенте опаснее, чем в чате: ошибочный ответ запускает следующие шаги воркфлоу и превращается в проблему на проде. Они выделяют четыре типа ошибок.

• Фактическая: модель утверждает то, что противоречит проверяемым фактам, — выдуманная статистика, человек или событие.
• Контекстная: ответ не подкреплён переданными материалами. Особенно важна для RAG-систем, где модель отвечает по найденным документам.
• Конфабуляция: модель заполняет пробелы деталями, которых никто не давал.
• Самопротиворечие: ответ спорит сам с собой или с предыдущими утверждениями.

Пять методов

• Проверка обоснованности. Ответ разбивают на отдельные утверждения и сверяют каждое с найденными документами. Это автоматизирует, например, библиотека DeepEval. Минус: метод показывает, подкреплён ли ответ контекстом, но не то, верен ли сам контекст.
• Самосогласованность. Один и тот же вопрос задают несколько раз и сравнивают ответы. Внешняя база не нужна, но разные запуски могут сойтись на одной и той же ошибке.
• Семантическая энтропия. Генерируют несколько ответов, группируют их по смыслу и смотрят, насколько разбросаны варианты. Большой разброс значит, что модель не уверена. Это мера стабильности, а не правильности.
• Сверка с источником. Важные утверждения проверяют по базе данных, API или документации. Ловит ошибки, которые пропускает проверка обоснованности, например устаревшие документы, но требует доступного эталонного источника.
• Пороги уверенности и человек в контуре. Уверенные ответы идут дальше автоматически, сомнительные — на дополнительную проверку, рискованные действия ждут одобрения человека. Пороги могут давать ложные срабатывания и пропускать тонкие ошибки.

Авторы подчёркивают, что каждому типу галлюцинаций нужна своя проверка, а самосогласованность — это сигнал, а не доказательство точности. Упомянут и вариант «человек над контуром», когда качество ответов проверяют уже после выполнения. В визуальном редакторе проверки ставят вокруг шагов с языковой моделью, и от их результата зависит, пойдёт ли ответ дальше, будет ли перезапущен или уйдёт в другую ветку. Узел AI Agent оставляет прослеживаемый путь выполнения, Error Trigger запускает отдельный сценарий обработки ошибок, история запусков помогает с отладкой. В примере из статьи вторая модель проверяет письмо, написанное агентом, и подозрительный текст не удаляется, а отправляется человеку на одобрение. Отдельного узла для обнаружения галлюцинаций статья не называет: метрики предлагают считать внешними open-source инструментами.

Почему это важно

Если агент пишет клиентам, меняет записи в CRM или готовит данные для бухгалтерии, цена ошибки разная. Внутренняя сводка переживёт неточность, изменение карточки клиента — нет. Практичный подход — настроить строгость проверок по последствиям: автоматом пропускать безопасное, перепроверять сомнительное и оставлять человеку то, что трудно отменить. Это можно сделать уже сейчас в любой платформе автоматизации, добавив проверочный шаг после модели.

Что дальше

Авторы честно признают ограничения: обнаружение снижает риск, но не ловит всё, а хорошо обоснованный ответ может быть неверным, если ненадёжен источник. Поэтому проверки стоит сочетать с профилактикой, понятными путями эскалации и наблюдаемостью — журналированием того, что делала модель. И у каждого отмеченного ответа должен быть следующий шаг: повторная проверка, перезапуск, сценарий ошибок или решение человека.