Из 98 проверок чат-боты распознали ИИ лишь трижды

Новое исследование, опубликованное в журнале Computers in Human Behavior Reports, показало, что современные чат-боты плохо справляются с ролью детекторов искусственного интеллекта. В эксперименте семь чат-ботов выступали в качестве интервьюеров в имитации теста Тьюринга — классического способа проверки, может ли машина вести себя как человек.

Учёные провели 98 проверок, в которых алгоритмы должны были определить, кто из собеседников является ИИ, а кто — человеком. Результат оказался неожиданным: только в трёх случаях чат-боты верно распознали искусственный интеллект. Таким образом, доля правильных ответов составила около 3%, что практически не отличается от случайного угадывания.

Авторы отмечают, что даже при имитации теста Тьюринга, где условия упрощены, автоматические системы не способны надёжно отличить человека от ИИ. Это ставит под сомнение эффективность многих существующих инструментов для фильтрации ботов, которые используются в соцсетях, на платформах обратной связи и в модерации контента.

Для бизнеса и разработчиков вывод очевиден: полагаться на чат-ботов как на средство верификации пользователей пока рискованно. Компаниям стоит комбинировать несколько методов проверки, включая анализ поведения и ручную модерацию, чтобы снизить ошибки распознавания искусственного интеллекта. Исследование также подчёркивает, что грань между человеком и машиной становится всё тоньше, и автоматические детекторы требуют дальнейшего совершенствования.