Новости
Нейросеть создаёт изображения людей по текстовому описанию

Разработчик из Индии создал нейросеть, которая формирует изображения людей по текстовому описанию.

Анимеш Карневар (Animesh Karnewar), автор работы, говорит, что на создание алгоритма его вдохновили книги и то, как мы пытаемся представлять героев по их описанию. Сегодня существует много исследований, которые описывают реконструкцию изображений из текста. Обычно для этого используются генеративно-состязательные нейросети, созданные еще в 2014 году. Генеративно-состязательная сеть представляет собой тип системы глубокого обучения, которая реализуется как две конкурирующие нейронные сети. Одна (генератор) создаёт поддельные данные, которые выглядят точно так же, как реальный набор данных. Вторая (дискриминатор) обрабатывает подлинные и сгенерированные данные. Со временем генератор учится создавать реалистичные изображения, а дискриминатор легко распознаёт подделки.

Карневар воспользовался двумя уже созданными алгоритмами генеративно-состязательных нейросетей. Одна создаёт реалистичные изображения из текстового описания, а другая формирует качественные изображения людей. Учёный взял части этих алгоритмов, сгенерировав свой собственный. Для тренировки нейросети был использован датасет Face2Text, где хранятся примерно 400 фотографий людей с текстовыми описаниями.

Изображения, которые получились у алгоритма в итоге, сложно назвать реалистичными, но размытые очертания людей согласуются с их текстовым описанием. На них можно различить основные детали внешности: цвет волос, лица или глаз. Программист выложил код своей разработки на GitHub, чтобы все желающие могли испытать нейросеть. Карневар полагает, что в будущем его разработка поможет иллюстраторам или даже создателям фильмов в поиске актёров.

Фото и видео: Animesh Karnewar / YouTube

08.08.2018 15:05:23