Почему ИИ-детекторы не могут обеспечить академическую честность: новое исследование

Университеты и издательства всё чаще полагаются на коммерческие детекторы искусственного интеллекта для выявления нарушений академической честности. Однако новое исследование, опубликованное на arXiv (ID: 2608.11256), ставит под сомнение надёжность таких инструментов. Учёные обнаружили, что детекторы не способны отличить ситуацию, когда студент лишь слегка отредактировал текст с помощью ИИ, от случая, когда вся работа целиком написана нейросетью. Это создаёт риск ложных обвинений и дискредитации самой идеи автоматического контроля.

Что произошло

Группа исследователей провела контролируемый эксперимент, проанализировав аннотации (abstracts) научных статей на английском языке из четырёх предметных областей. Они сравнили тексты, опубликованные в 2013–2015 годах (до широкого распространения LLM) и в 2023–2025 годах (когда использование ИИ стало массовым). Для создания прокси-меток «человек/ИИ» авторы использовали как реальные аннотации, так и версии, частично или полностью сгенерированные нейросетью. В частности, рассматривался сценарий «лёгкого редактирования» (refine abstract only), при котором ИИ только улучшает стиль и формулировки, не меняя содержание – такой подход обычно считается допустимым в политике многих журналов.

Почему это важно

Результаты показали, что при оценке по метрике тау Кендалла (τ = 0,50) детекторы демонстрируют лишь умеренную согласованность с истинными метками, что указывает на серьёзную неспособность различать эти два сценария. Другими словами, вероятность того, что детектор пометит как «написанное ИИ» как полностью сгенерированный текст, так и текст после разрешённого редактирования, практически одинакова. Это означает, что внедрение таких систем в образовательный процесс – без дополнительных мер – ведёт к несправедливым обвинениям студентов, которые добросовестно используют ИИ в допустимых рамках, или же к игнорированию реальных нарушений. Политика, основанная на автоматическом обнаружении, оказывается неэффективной.

Что дальше

Авторы работы призывают к пересмотру устоявшейся практики использования ИИ-детекторов в качестве единственного инструмента контроля. Они указывают, что необходимы более тонкие методы, способные оценивать не только долю машинного текста, но и характер его использования – например, различать генерацию с нуля и стилистическую правку. Кроме того, вузам и журналам следует разрабатывать чёткие рекомендации, в которых будет прописано, какие виды применения ИИ разрешены, а какие нет, и полагаться на комплексную экспертизу, а не на автоматические пороги. В противном случае академическое сообщество рискует столкнуться с волной ложных обвинений и снижением доверия к научным публикациям.

Практические последствия для образования

Для студентов и преподавателей этот вывод означает, что полагаться на цифры «процента ИИ», выдаваемые детекторами, небезопасно. Даже официально признанные инструменты, такие как Turnitin или GPTZero, могут выдавать ложноположительные результаты. Вместо этого университетам стоит инвестировать в обучение преподавателей распознаванию характерных признаков машинного текста, а также в разработку прозрачных политик, которые поощряют честное использование ИИ как вспомогательного инструмента. Исследование подчёркивает, что технические решения сами по себе не могут заменить человеческое суждение и этические нормы.