Статьи
Интервью

Нейросети и мораль

Телеканал «Наука» выступает информационным партнером крупнейшей в России международной конференции по компьютерной лингвистике и интеллектуальным технологиям «Диалог-2019», проходящей в Москве с 29 мая по 1 июня. Организатором выступает компания ABBYY, мировой разработчик решений в области интеллектуальной обработки информации и лингвистики. Мы смогли задать несколько вопросов Крису Биману из Гамбургского университета, одному из ведущих аналитиков в области декомпозиции результатов работы нейронных сетей.

Сейчас большая часть научных работ анализируется системами автоматического анализа текста, чтобы процент цитирования не превышал разумного и исследование не превращалось в плагиат. На практике для прохождения проверки достаточно дробить цитаты на фрагменты, разбавляя их «оригинальными» вставками, — так делают авторы дипломных проектов. Почему автоматический анализ так легко обмануть?

Доступные на данный момент системы антиплагиата работают с текстовыми, а не с концептуальными пересечениями. Естественный язык позволяет нам выразить одно и то же значение разными способами. Системы автоматического анализа текста не «понимают» дипломные проекты, а только проверяют, встречаются ли цепочки слов в других опубликованных работах. В то время как длинные цепочки слов довольно уникальны и мы можем предположить, что никто случайно не подготовит такие же длинные цепочки, короткие цепочки из трех-пяти слов с высокой долей вероятности повторят многие люди. При этом системы антиплагиата не могут справиться с высокой точностью с короткими скопированными кусками текста, в которых переформулированы слова — новые формулировки не распознаются как одинаковый контент.

В погоне за степенью «оригинальности» текста, достаточной для прохождения проверки, авторы совершенно спокойно могут пренебрегать новизной проблемы, поставленной в работе. Можно ли в ближайшем будущем ожидать появления систем, способных производить анализ именно с этой позиции?

Системам несложно распознать, что рассматриваемый текст не такой же, как предыдущие тексты в базе данных. Однако, как я уже упомянул, это может быть перефразированная версия предыдущего текста, в которой не будет ни оригинальности, ни новизны. Но что значат «оригинальность» и «новизна»? Этого недостаточно для того, чтобы в тексте были новые концепции или новые связи между концепциями, в тексте также должен быть смысл. Путем вычислений можно определить, насколько непредсказуем текст с учетом уже изученных текстов. Но слишком непредсказуемый текст может быть бессмысленным (представьте стихотворение дадаистов), и это не наделяет его оригинальностью и новизной. Если система автоматического анализа текста была бы способна оценить новизну и оригинальность, она должна была бы иметь гораздо более глубокое понимание языка по сравнению с тем, что достижимо сейчас. Как только это стало бы возможно, мы бы смогли автоматически генерировать оригинальные и новые тексты.

Чат-боты на основе нейросетей в последнее время стали очень популярными в службах поддержки различных сервисов, однако общение с ними становится головной болью для пользователей. Пока не сформулируешь фразу так, чтобы в ней были необходимые ключевые слова, — адекватного ответа от робота не дождешься. Почему даже решение типовых вопросов пользователей до сих пор вызывает у автоматических систем такие сложности?

Большая часть чат-ботов на самом деле основаны не на нейросетях, а на правилах и длинных списках предполагаемых вопросов, которые затем соединяются с подходящими ответами. Но в любом случае разница между качественным и некачественным чат-ботом очень часто заключается в том, насколько тщательно были написаны и сгенерированы альтернативные формулировки для одного и того же вопроса. Учитывая большой объем работы и развития подхода, основанного на данных, в сфере, где запросы клиента в приоритете, можно предположить, что на самые частые вопросы клиентов при хорошей формулировке будут получены удовлетворительные ответы. Также мы можем предположить, что люди адаптируются к тому, с чем справляются чат-боты, — представьте, как вы общаетесь с «Яндексом» с помощью ключевых слов. В течение некоторого времени в будущем проблемой чат-ботов будет то, что у них очень ограничена память и референциальность — в большинстве систем каждый вопрос воспринимается как первый, и информация, предоставленная пользователем ранее, игнорируется.

Два года назад тренировка диалоговых автоматических систем в Facebook привела к обескураживающему результату — для увеличения эффективности общения боты начали придумывать свой язык. Так же поступают и люди, письменный язык сетевого общения сильно отличается от классических норм. Можно ли вообще научить искусственный интеллект жертвовать эффективностью в пользу понятности?

Данный эксперимент придумал не Facebook, схожий эффект наблюдался и в эксперименте Люка Стиля «Говорящие головы» еще 20 лет назад. Это то, чем занимаются коммуникационные агенты: договариваются о коде для передачи информации. Искусственный интеллект достаточно легко обучить предпочитать четкость — просто хорошо настройте его на коммуникацию с людьми, а не с самим собой.

Самообучение ботов для коммуникации с пользователями на «естественном языке» имеет и другие подводные камни. Роботы не понимают шуток, норм морали и легко поддаются на провокации. ИИ Microsoft стал ругаться и увлекся расистскими шутками, «Яндекс» специально отучал Алису материться перед общением с Путиным, на юридическом форуме в Питере чат-бот проиграл человеку и от расстройства выругался. Как можно привить роботу этику поведения?

Во-первых, ничто не может спровоцировать робота. У него нет чувств, представления о правильном поведении, морали.

В 2016 году был проведен известный эксперимент с Twitter-ботом Microsoft по имени Тэй. Он превратился в ненавидящего всех бота за один день, потому что вокруг него было столько ненависти. В каком-то отношении боты — как люди: если ты ведешь себя с ними хорошо, они тоже будут вести себя хорошо в ответ. Конечно, есть методы контролируемого машинного обучения, которые позволят роботам распознавать негативную речь (ее распознать легче, чем шутки, хотя юмор также можно распознать с некоторым уровнем точности), чтобы можно было фильтровать такую речь, чтобы робот ей не обучался. Однако это единичное, а не устоявшееся решение, потому что такого решения для контроля этической стороны поведения автоматических систем нет.

Читайте также
Античный драматург Софокл — прадедушка фотографии и кино?
Античный драматург Софокл — прадедушка фотографии и кино?
Почему в Античности не додумались создать фотоаппарат?
«Филиал ада»: возможна ли жизнь на Венере, и если да, то какая?
«Филиал ада»: возможна ли жизнь на Венере, и если да, то какая?
На Венере обнаружен газ фосфин. Многие сочли это признаком жизни. Ликуем?
Если долго сидеть вредно, может, лучше работать лежа?
Если долго сидеть вредно, может, лучше работать лежа?
Работать в гамаке или мягком кресле полезнее, чем в положении сидя?