Пропаганда в китайских ИИ-моделях оказалась «тонким слоем»: Nous Research убрала её за 53 млн токенов

Мы привыкли думать, что предвзятость больших языковых моделей (LLM — тип ИИ, который генерирует текст) встроена в них на уровне алгоритма. Однако исследователи из команды Nous Research показали, что в случае с китайской моделью Qwen-27B от Alibaba политический уклон — это скорее «тонкий слой», который легко удалить. Они выпустили новую модель Arete-27B, где частота пропагандистских высказываний упала с 22% до менее 1%.

Что произошло

Команда Nous Research взяла открытую модель Qwen3.8-27B (версия с 27 миллиардами параметров) и провела supervised fine-tuning (контролируемое дообучение — когда модель дополнительно обучают на размеченных данных). Для этого они использовали 53 миллиона токенов (токен — это единица текста: слово или его часть; примерно 53 млн токенов соответствуют 40–50 млн слов). После дообучения модель, названная Arete-27B, почти полностью потеряла склонность к воспроизведению государственной пропаганды Китая. При этом её общие способности — понимание языка, ответы на вопросы, решение задач — остались на прежнем уровне в тестах.

Почему это важно

Для разработчиков и бизнеса, которые используют открытые китайские модели в своих приложениях, это открывает возможность получить нейтральный ИИ без затрат на полное переобучение с нуля. Для обычных пользователей — сигнал, что политическая окраска многих моделей может быть намеренно добавлена на финальном этапе и не является неизбежным свойством самого ИИ. Компании, которые хотят внедрить Qwen в глобальные продукты, теперь могут скорректировать его поведение малыми усилиями.

Это также ставит вопрос о прозрачности: если пропаганда — это «слой», то кто и зачем его добавляет? Вероятно, Alibaba или её партнёры намеренно внедрили про-китайский уклон в модель, чтобы она соответствовала законодательству КНР. Но тот факт, что его можно удалить без потери качества, означает, что модель не была фундаментально «идеологизированной», а лишь получила поверхностную настройку.

Что дальше

Метод, использованный Nous Research, может быть воспроизведён и для других моделей с политической предвзятостью, не только китайских. Потребность в «нейтральных» ИИ-ассистентах будет расти, особенно в сферах образования, новостей и бизнес-аналитики. Возможно, появятся инструменты для автоматического выявления и удаления тонких слоёв пропаганды из открытых моделей. Однако важно помнить, что дообучение требует качественных данных — 53 млн токенов должны были быть тщательно отобраны, чтобы не внести новые перекосы.

Кроме того, сам факт, что уклон легко удаляется, может подтолкнуть регуляторов к требованию раскрывать «слои» обучения. Пока же рынок открытых моделей получает демонстрацию: политическое влияние — не приговор, а всего лишь настройка.