LLM научились автоматически аннотировать графы атрибуции нейросетей
Исследователи предложили использовать большие языковые модели для автоматической группировки нейронов и признаков в суперузлы при трассировке цепей. Это ускоряет анализ внутренних вычислений LLM.
Одним из наиболее перспективных направлений в исследовании глубоких нейронных сетей является трассировка цепей (circuit tracing) — метод, позволяющий заглянуть во внутреннюю механику языковых моделей и понять, как именно они приходят к своим выводам. Однако до сих пор этот процесс включал трудоёмкую ручную аннотацию: исследователям приходилось вручную объединять отдельные признаки или нейроны MLP в так называемые суперузлы. Новая работа, представленная в препринте arXiv:2608.02632v1, предлагает радикально упростить этот этап, поручив его самим же языковым моделям.
Что произошло
Авторы статьи разработали конвейер, в котором описания признаков (feature descriptions) напрямую подаются большой языковой модели (LLM). Модель анализирует эти описания и автоматически группирует их в осмысленные суперузлы — кластеры, соответствующие, например, определённым концепциям или этапам обработки информации. Для проверки качества группировки используются автоматизированные метрики интерпретируемости, которые подтверждают, что предложенное разбиение не уступает ручному анализу, а в ряде случаев даже превосходит его по согласованности. Это означает, что LLM могут выступать в роли «аннотаторов», заменяя длительный ручной труд.
Почему это важно
До сих пор трассировка цепей оставалась уделом узкого круга специалистов, поскольку требовала значительных временных затрат и глубокого понимания архитектуры модели. Автоматизация этапа группировки в суперузлы делает метод масштабируемым: теперь исследователи смогут анализировать гораздо бо́льшие цепные структуры, выявлять общие шаблоны поведения в разных моделях и быстрее продвигаться в понимании механизмов рассуждения LLM. Кроме того, использование LLM в качестве аннотатора — это ещё один шаг к созданию самоанализирующихся систем, способных объяснять собственные вычисления.
«Прямое предъявление описаний признаков языковой модели позволяет ей группировать их в суперузлы без участия человека, а автоматические метрики интерпретируемости подтверждают качество такой аннотации» — из аннотации к статье.
Что дальше
В ближайшей перспективе авторы планируют протестировать конвейер на моделях различного масштаба и архитектур, а также расширить задачу: не только группировать признаки, но и автоматически генерировать понятные названия для суперузлов. Если метод подтвердит свою эффективность на более широком спектре моделей, он может стать стандартным инструментом в арсенале исследователей интерпретируемости. Кроме того, возникает вопрос обратной связи: если LLM сама аннотирует свою же архитектуру, не возникнет ли систематических искажений? Ответ на этот вопрос потребует дополнительных экспериментов, но первые результаты выглядят многообещающими.
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.