Теоретические гарантии различимости LLM: новый взгляд на динамические системы

Различение больших языковых моделей (LLM) по их ответам — одна из ключевых задач в области анализа и аудита ИИ. Недавние эмпирические работы показали, что если представить последовательность эмбеддингов токенов как траекторию некоторой неизвестной динамической системы (ДС), а затем сравнить ошибки предсказания двух таких систем, то можно с высокой точностью определить, какой именно LLM сгенерировал текст. Однако до сих пор оставалось неясным, почему этот метод работает и насколько он надёжен при увеличении числа моделей или длины последовательностей. Новая статья на arXiv восполняет этот пробел, предлагая строгие теоретические гарантии различимости.

Что произошло

Авторы работы (arXiv:2607.28667v1) формализовали задачу различимости LLM как проблему сравнения двух чёрных ящиков — динамических систем, порождающих траектории токенов. Они ввели понятие «остатка предсказания» — разницы между фактическим следующим эмбеддингом и предсказанием, сделанным линейной моделью на основе предыдущих состояний. Оказалось, что если две LLM действительно различны (например, обучены на разных данных или имеют разную архитектуру), то распределения этих остатков статистически значимо расходятся. Главный результат работы — теорема, которая устанавливает нижнюю границу вероятности правильного различения в зависимости от длины траектории и количества доступных примеров. Теперь это не просто эмпирическое наблюдение, а математически обоснованный метод.

Почему это важно

Переход от эмпирики к теории меняет практику исследования LLM. Во-первых, гарантии распространяются на масштабирование: авторы показывают, что с ростом длины последовательности n вероятность ошибки экспоненциально убывает, а с увеличением числа сравниваемых моделей K — не хуже, чем O(1/√K). Это означает, что метод применим даже для тысяч моделей, что актуально для платформ, где размещаются тысячи кастомных LLM. Во-вторых, теоретический анализ вскрывает связь между различимостью и внутренней динамикой модели: если две LLM порождают траектории, сходящиеся к одному аттрактору, их различить невозможно в принципе — и это не недостаток метода, а свойство самой системы. В-третьих, работа закладывает основы для построения устойчивых к атакам систем идентификации: злоумышленник, пытающийся подделать «динамический отпечаток» модели, теперь будет ограничен математическими пределами.

Что дальше

Практические последствия работы могут быть значительными. Во-первых, появляется инструмент для аудита «чёрных ящиков»: разработчики смогут проверять, не изменилась ли модель после тонкой настройки или дообучения, просто анализируя динамику её ответов. Во-вторых, для безопасности ИИ-систем такой метод позволяет выявлять «клоны» — модели, обученные на украденных данных, — по характерным динамическим профилям. В-третьих, теоретические границы дают ориентир для создания более эффективных алгоритмов различимости: например, можно оптимизировать выбор токенов или длину контекста, чтобы минимизировать необходимую выборку.

Однако авторы отмечают, что доказательства пока получены для линейных моделей предсказания и определённых классов динамических систем. Расширение на нелинейные рекуррентные сети и трансформеры — естественный следующий шаг. Кроме того, открытым остаётся вопрос о том, как влияет на различимость квантование весов или использование разных архитектур (например, декодеров против энкодер-декодеров). Тем не менее, уже сейчас ясно, что динамический подход к различимости LLM получил прочное теоретическое основание, и в ближайшее время можно ожидать появления практических инструментов, реализующих эти идеи.