Нейросети и мораль
Телеканал «Наука» выступает информационным партнером крупнейшей в России международной конференции по компьютерной лингвистике и интеллектуальным технологиям «Диалог-2019», проходящей в Москве с 29 мая по 1 июня. Организатором выступает компания ABBYY, мировой разработчик решений в области интеллектуальной обработки информации и лингвистики. Мы смогли задать несколько вопросов Крису Биману из Гамбургского университета, одному из ведущих аналитиков в области декомпозиции результатов работы нейронных сетей.
Сейчас большая часть научных работ анализируется системами автоматического анализа текста, чтобы процент цитирования не превышал разумного и исследование не превращалось в плагиат. На практике для прохождения проверки достаточно дробить цитаты на фрагменты, разбавляя их «оригинальными» вставками, — так делают авторы дипломных проектов. Почему автоматический анализ так легко обмануть?
Доступные на данный момент системы антиплагиата работают с текстовыми, а не с концептуальными пересечениями. Естественный язык позволяет нам выразить одно и то же значение разными способами. Системы автоматического анализа текста не «понимают» дипломные проекты, а только проверяют, встречаются ли цепочки слов в других опубликованных работах. В то время как длинные цепочки слов довольно уникальны и мы можем предположить, что никто случайно не подготовит такие же длинные цепочки, короткие цепочки из трех-пяти слов с высокой долей вероятности повторят многие люди. При этом системы антиплагиата не могут справиться с высокой точностью с короткими скопированными кусками текста, в которых переформулированы слова — новые формулировки не распознаются как одинаковый контент.
В погоне за степенью «оригинальности» текста, достаточной для прохождения проверки, авторы совершенно спокойно могут пренебрегать новизной проблемы, поставленной в работе. Можно ли в ближайшем будущем ожидать появления систем, способных производить анализ именно с этой позиции?
Системам несложно распознать, что рассматриваемый текст не такой же, как предыдущие тексты в базе данных. Однако, как я уже упомянул, это может быть перефразированная версия предыдущего текста, в которой не будет ни оригинальности, ни новизны. Но что значат «оригинальность» и «новизна»? Этого недостаточно для того, чтобы в тексте были новые концепции или новые связи между концепциями, в тексте также должен быть смысл. Путем вычислений можно определить, насколько непредсказуем текст с учетом уже изученных текстов. Но слишком непредсказуемый текст может быть бессмысленным (представьте стихотворение дадаистов), и это не наделяет его оригинальностью и новизной. Если система автоматического анализа текста была бы способна оценить новизну и оригинальность, она должна была бы иметь гораздо более глубокое понимание языка по сравнению с тем, что достижимо сейчас. Как только это стало бы возможно, мы бы смогли автоматически генерировать оригинальные и новые тексты.
Чат-боты на основе нейросетей в последнее время стали очень популярными в службах поддержки различных сервисов, однако общение с ними становится головной болью для пользователей. Пока не сформулируешь фразу так, чтобы в ней были необходимые ключевые слова, — адекватного ответа от робота не дождешься. Почему даже решение типовых вопросов пользователей до сих пор вызывает у автоматических систем такие сложности?
Большая часть чат-ботов на самом деле основаны не на нейросетях, а на правилах и длинных списках предполагаемых вопросов, которые затем соединяются с подходящими ответами. Но в любом случае разница между качественным и некачественным чат-ботом очень часто заключается в том, насколько тщательно были написаны и сгенерированы альтернативные формулировки для одного и того же вопроса. Учитывая большой объем работы и развития подхода, основанного на данных, в сфере, где запросы клиента в приоритете, можно предположить, что на самые частые вопросы клиентов при хорошей формулировке будут получены удовлетворительные ответы. Также мы можем предположить, что люди адаптируются к тому, с чем справляются чат-боты, — представьте, как вы общаетесь с «Яндексом» с помощью ключевых слов. В течение некоторого времени в будущем проблемой чат-ботов будет то, что у них очень ограничена память и референциальность — в большинстве систем каждый вопрос воспринимается как первый, и информация, предоставленная пользователем ранее, игнорируется.
Два года назад тренировка диалоговых автоматических систем в Facebook привела к обескураживающему результату — для увеличения эффективности общения боты начали придумывать свой язык. Так же поступают и люди, письменный язык сетевого общения сильно отличается от классических норм. Можно ли вообще научить искусственный интеллект жертвовать эффективностью в пользу понятности?
Данный эксперимент придумал не Facebook, схожий эффект наблюдался и в эксперименте Люка Стиля «Говорящие головы» еще 20 лет назад. Это то, чем занимаются коммуникационные агенты: договариваются о коде для передачи информации. Искусственный интеллект достаточно легко обучить предпочитать четкость — просто хорошо настройте его на коммуникацию с людьми, а не с самим собой.
Самообучение ботов для коммуникации с пользователями на «естественном языке» имеет и другие подводные камни. Роботы не понимают шуток, норм морали и легко поддаются на провокации. ИИ Microsoft стал ругаться и увлекся расистскими шутками, «Яндекс» специально отучал Алису материться перед общением с Путиным, на юридическом форуме в Питере чат-бот проиграл человеку и от расстройства выругался. Как можно привить роботу этику поведения?
Во-первых, ничто не может спровоцировать робота. У него нет чувств, представления о правильном поведении, морали.
В 2016 году был проведен известный эксперимент с Twitter-ботом Microsoft по имени Тэй. Он превратился в ненавидящего всех бота за один день, потому что вокруг него было столько ненависти. В каком-то отношении боты — как люди: если ты ведешь себя с ними хорошо, они тоже будут вести себя хорошо в ответ. Конечно, есть методы контролируемого машинного обучения, которые позволят роботам распознавать негативную речь (ее распознать легче, чем шутки, хотя юмор также можно распознать с некоторым уровнем точности), чтобы можно было фильтровать такую речь, чтобы робот ей не обучался. Однако это единичное, а не устоявшееся решение, потому что такого решения для контроля этической стороны поведения автоматических систем нет.
