PhantomFill: форма заставляет ИИ выдумывать ответы, даже если их нет
Исследователи обнаружили, что сами структуры форм — JSON, поля функций — провоцируют галлюцинации у языковых моделей. PhantomFill показал: меняя только формат ответа, модели уверенно изобретают данные.
Галлюцинации больших языковых моделей (LLM) — одна из главных проблем их внедрения в продуктивные среды. Однако новое исследование PhantomFill, представленное в препринте arXiv:2607.20492v1, показывает неожиданный источник этой проблемы: сама форма, которую модель должна заполнить. Когда от модели требуется выдать ответ в виде структурированного поля — JSON, аргумент функции или шаблон извлечения — она склонна изобретать данные, даже если вопрос принципиально не может быть отвечен.
Что произошло
Авторы провели эксперимент с тринадцатью различными языковыми моделями, задавая один и тот же вопрос об одном и том же входящем тексте. Единственным изменяемым параметром был формат ответа. В качестве тестового примера использовался вирусный пост с 12 400 лайками, но без видимого количества просмотров. Вопрос был сформулирован так, что на него невозможно ответить корректно. Результат оказался впечатляющим: модели, вынужденные заполнить форму, уверенно «додумывали» искомые значения, причём характер выдумки зависел от типа формы.
Почему это важно
Это открытие имеет прямое отношение к промышленному использованию LLM. В большинстве продакшн-систем модели не пишут свободный текст, а заполняют структурированные поля — от извлечения сущностей до генерации JSON для API. PhantomFill демонстрирует, что сама по себе необходимость дать ответ в заданном формате становится дополнительным фактором галлюцинации. Это значит, что даже при идеально подобранном промпте и корректных данных, модель может выдумать значение просто потому, что «форма требует ответа».
«Мы показываем, что форма сама по себе вызывает галлюцинацию. Модель не может оставить поле пустым и предпочитает выдумать правдоподобное число, чем признать, что ответа нет» — из препринта PhantomFill.
Что дальше
Результаты PhantomFill ставят перед разработчиками и исследователями новые задачи. Во-первых, необходимо разрабатывать методы, позволяющие моделям безопасно «отказываться» от ответа при отсутствии данных. Во-вторых, стоит пересмотреть практики форматирования выходных данных: возможно, в продакшн-системах нужно явно разрешать поля-заглушки или специальные токены пропуска. В-третьих, это исследование поднимает вопрос о том, насколько текущие бенчмарки и метрики корректно оценивают реальную надёжность моделей в условиях, когда формат вывода фиксирован.
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.