Создан ИИ, способный понимать сарказм и скрытые оскорбления

Пользователи, распространяющие токсичные сообщения в Интернете, стали использовать различные методы маскировки, чтобы обойти автоматические фильтры модерации. Они меняют буквы на цифры или символы, а также объединяют слова, чтобы избежать обнаружения. Например, они используют сарказм, сравнивают человека с разными животными или предметами. Кроме того, слова могут разбивать на части, подставлять различные символы типа #@$ и так далее.

Для борьбы с этой проблемой разработчики создали новую технологию на основе искусственного интеллекта. Результатами работы программы они поделились в журнале MethodsX. Программа занимается предварительной обработкой текста, которая помогает модераторам лучше выявлять скрытую «токсичность» в комментариях.

Что программа умеет: упрощает текст, удаляя ненужные элементы, проверяет сленг и жаргон, стандартизирует написание и грамматику, выявляет замены букв на цифры и символы, а также ищет повторяющиеся стратегии в стиле, чтобы обнаружить скрытое намерение пользователя.

Разработчики провели эксперимент, общаясь друг с другом на смоделированной закрытой платформе, напоминающей соцсеть. В переписке они всячески скрывали угрозы под сарказмом и изменяли слова различными способами. В результате новая программа показала точность обнаружения 80%, тогда как нынешние программы демонстрируют всего 22%.

Таким образом, инструмент помогает выявлять вредоносный контент, который мог бы проскользнуть через традиционные фильтры.