Эксперимент на грани: могут ли чат-боты создать новый пандемический вирус?
Исследователи из Массачусетского технологического института (США) пришли к выводу, что ИИ может помочь кому-то, кто не имеет научного образования, но имеет злые намерения, разработать вирус, способный вызвать пандемию, сообщает служба новостей журнала Science. Исследование пока вышло в препринте на arXiv.
Эксперт по биобезопасности MIT Кевин Эсвельт недавно попросил студентов создать опасный вирус с помощью ChatGPT или других так называемых больших языковых моделей — систем, которые могут генерировать связные ответы на основе обширных обучающих наборов данных из Интернета. Всего через час класс составил списки вирусов-кандидатов, компаний, которые могли бы помочь синтезировать генетический код патогенов, и исследовательских компаний, чтобы соединить части вместе.
Эсвельт и его коллеги предупреждают, что системы искусственного интеллекта вскоре могут позволить кому угодно разрабатывать опасное биологическое оружие. Они обеспокоены тем, что научная культура открытого обмена информацией, включая последовательности вирусов, может быть полезна для биотеррористов. На сегодняшний день осуществление такого рода биотерроризма требует значительного опыта. Однако технологии не стоят на месте. Например, появление на рынке в ближайшем будущем настольных ДНК-принтеров. ИИ мог бы еще больше упростить процесс.
В эксперименте некоторые чат-боты не отвечали на прямые потенциально опасные запросы. Но студенты обнаружили, что некоторые из этих мер безопасности можно легко обойти, например, начав запрос со слов «Я работаю над разработкой вакцины для предотвращения…».
Через час чат-боты предложили четыре вируса для работы: вирус гриппа H1N1 1918 года, вирус птичьего гриппа H5N1, модифицированный в 2012 году, чтобы сделать его более трансмиссивным среди млекопитающих, вирус натуральной оспы и штамм «Бангладеш» вируса нипах. В некоторых случаях чат-боты даже указывали на генетические мутации, описанные в литературе, которые могут усилить передачу вируса. ИИ также описывал методы, которые можно использовать для сборки вируса, а также необходимые лабораторные принадлежности и компании, которые могли их предоставить.
Эсвельт сомневается, что эти конкретные предложения, сделанные чат-ботами, представляют большую угрозу пандемии. Многие люди, например, имеют некоторый уровень иммунитета к предыдущим вирусам пандемического гриппа. А геном натуральной оспы настолько велик, что его чрезвычайно трудно собрать даже специалистам.
Тем не менее результаты эксперимента он назвал тревожным звонком. По его мнению, может помочь ограничение информации, которую чат-боты и другие механизмы ИИ могут использовать в качестве обучающих данных. Правда, пока нет протоколов, позволяющих обучать большие языковые модели в одних частях Интернета, исключая другие.
