Улучшенная оценка уверенности для чёрных ящиков LLM

Количественная оценка неопределённости (UQ) остаётся одной из ключевых проблем при развёртывании больших языковых моделей (LLM). Без надёжных показателей уверенности трудно доверять ответам модели в критических сценариях — от медицинских рекомендаций до юридических консультаций. Существующие методы, такие как вербализованная уверенность или подходы, требующие множественных генераций, часто работают в zero-shot режиме и не нуждаются в размеченных данных. Однако на практике перед использованием любого UQ-метода необходимо оценить его эффективность на конкретном наборе данных. Новая работа на arXiv (2608.19323v1) предлагает улучшенные оценки уверенности, специально адаптированные для сценариев «чёрного ящика», когда доступны только входы и выходы модели.

О чём исследование

Авторы представляют подход, который позволяет точнее оценивать неопределённость LLM, не имея доступа к логитам, скрытым состояниям или другим внутренним сигналам. В отличие от традиционных методов, полагающихся на вероятностные выходы, новая методика использует специальную процедуру агрегации нескольких запросов и анализ семантической согласованности ответов. Эксперименты на нескольких бенчмарках показывают, что предложенный подход превосходит существующие baseline по метрикам калибровки и дискриминации (например, AUC-ROC для обнаружения ошибочных ответов).

Почему это важно

Многие современные LLM (GPT-4, Claude, Gemini) предоставляются через API, не раскрывая внутреннюю архитектуру. Разработчики приложений, использующих такие модели, лишены возможности применять методы UQ, основанные на анализе логарифмов вероятностей. Новая работа закрывает этот пробел: она предлагает практичный инструмент для оценки уверенности, который можно интегрировать в любой пайплайн, работающий с black-box моделью. Это напрямую повышает безопасность и надёжность ИИ-систем, особенно в областях с высокими требованиями к точности.

Как это работает

Метод основан на многократной генерации ответов на один и тот же запрос (с разными seed или температурой) и последующем анализе семантической близости между ними. Вместо прямого усреднения вероятностей, авторы используют специальную меру согласованности, учитывающую не только лексическое совпадение, но и смысловую эквивалентность. Затем эта мера преобразуется в калиброванную оценку уверенности с помощью небольшого калибровочного набора данных (несколько сотен примеров). Такой подход позволяет обойтись без доступа к внутренним логитам и при этом получить надёжные показатели неопределённости.

Ключевые результаты

На наборах данных TriviaQA, MMLU и TruthfulQA новый метод показал улучшение калибровки на 15–25% по сравнению с baseline (verbalized confidence и entropy-based методы). Особенно заметен прирост в сценариях с высокой неопределённостью, где модель часто даёт неверные, но уверенные ответы. Авторы также демонстрируют, что метод устойчив к изменениям температуры и числу генераций, что делает его пригодным для практического использования.

Что дальше

Разработчики планируют открыть код и калибровочные наборы для воспроизводимости. В будущем они намерены исследовать адаптацию метода для мультимодальных моделей и диалоговых систем. Возможно, появятся коммерческие решения на основе этой технологии, которые позволят платформам API предоставлять клиентам не только ответы, но и метрики уверенности. Это может стать важным шагом к стандартизации оценки неопределённости в индустрии искусственного интеллекта.