Обнаружение дезинформации с помощью активационной инженерии: новый подход ИИ
Исследователи предложили метод выявления ложной информации на основе геометрических свойств внутренних представлений языковых моделей. Подход Latent Fact-Checking использует активационную инженерию для детекции дезинформации без внешних баз знаний.
С ростом объёмов дезинформации в интернете растёт потребность в автоматизированных системах её выявления. Большинство современных подходов опираются либо на поверхностные лингвистические признаки, либо на внешний поиск по базам знаний. Однако новая работа, представленная на arXiv, предлагает принципиально иной путь: анализировать истинность утверждений как геометрическое свойство внутреннего пространства представлений самой языковой модели.
Что произошло
Группа исследователей опубликовала препринт «Latent Fact-Checking: Detecting Misinformation through Activation Engineering» (arXiv:2608.06417v1). В нём авторы демонстрируют, что в скрытых слоях больших языковых моделей (LLM) можно обнаружить «направления истинности» — векторы, вдоль которых активации нейронов различаются для правдивых и ложных утверждений. Используя методы активационной инженерии (activation engineering), они научились сдвигать внутренние представления модели так, чтобы выявлять дезинформацию без обращения к внешним источникам. Эксперименты на нескольких датасетах показали высокую точность, сравнимую с методами, использующими внешний поиск.
Почему это важно
Главное преимущество нового подхода — его автономность. Модель не нуждается в доступе к интернету или базам фактов, что ускоряет проверку и снижает зависимость от качества внешних данных. Кроме того, активационная инженерия позволяет интерпретировать, какие именно признаки модели считает «маркерами лжи», открывая путь к более прозрачным системам фактчекинга. Это может быть особенно полезно для модерации контента в реальном времени, где скорость и независимость от внешних ресурсов критичны.
«Истинность — это геометрическое свойство пространства представлений модели. Мы можем научиться распознавать его без внешних подсказок». — из препринта Latent Fact-Checking
Что дальше
Хотя результаты обнадёживают, авторы отмечают ограничения: метод пока протестирован на ограниченном наборе тем и языков, а его эффективность может снижаться при целенаправленных атаках на модель. Дальнейшие исследования будут направлены на расширение датасетов, изучение переносимости между разными LLM и интеграцию с традиционными методами проверки фактов. Если подход подтвердит свою надёжность, он может стать основой для нового поколения встроенных механизмов верификации в ИИ-системах.
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.