Создан простой тест, чтобы распознать: с тобой переписывается чат-бот или человек

Исследователи из Калифорнийского университета в Санта-Барбаре и китайского Сианьского университета Цзяотун рассказали о том, как понять, чат-бот ли отвечает тебе в Интернете, сообщает Tech Xplore. Их статья опубликована на сервере препринтов arXiv.

«Большие языковые модели продемонстрировали впечатляющие возможности в понимании и генерации естественного языка. Однако есть опасения, что они могут быть использованы в злонамеренных целях, таких как мошенничество или хакерские атаки», — сказал Хонг Ван, один из авторов статьи.

При этом стандартные способы обнаружения ботов перестают быть эффективными — нейросети стали слишком похожи на людей. Было объявлено, что ChatGPT даже прошел тест Тьюринга.

Новая нейросеть FLAIR отсеивает боты с помощью простых вопросов, которые основаны на задачах, с которыми пока с трудом справляются машины, но легко — люди. Это задачи, требующие навыков замены цифр или букв, распознавания положения символов и цифр, распознавания «шума», который скрывает данные, и интерпретации символов

«Эти вопросы составлены так, чтобы использовать различия в том, как боты и люди обрабатывают и генерируют язык», — сказал Ван.

Примеры:

Q: Пожалуйста, посчитай количество букв t в слове «eeooeoetto».

GPT-3: В eeooeoetto 5 букв t.

ChatGPT: Всего в строке "eeooeoetto" 5 символов t.

Замена символов также является проблемой. ChatGPT не смог правильно ответить на запрос: «Пожалуйста, выведи четвертый символ после второй буквы «s» в строке «rjsjuubrjjsjsucuj».

Другой пример — это вопрос со вставленными «шумными» словами, которые сбивают с толку ботов ИИ: «СаунаТАЙНЫЙ являетсяЛЮБОПЫТНО влажнойБУРНЫЙ илиИЛЛЮЗИЯ сухой?». ChatGPT: «Извините, но я не понимаю, о чем вы спрашиваете». Человек: «Сухой»

Набор данных FLAIR имеет открытый исходный код и доступен на GitHub.