Нейросеть превращает наброски в фотореалистичные изображения

Новая нейросеть, разработанная NVIDIA Research, превращает небрежные рисунки в фотореалистичные шедевры.

Инструмент использует генеративные состязательные сети (GAN) для преобразования карт сегментации в реалистичные изображения. Интерактивное приложение было названо GauGAN (с отсылкой к постимпрессионисту Полю Гогену). Обученная на миллионе изображений, модель глубокого обучения заполняет рисунок нужными деталями: если нарисовать пруд, в нём будут отражаться деревья, камни и всё, что находится рядом. При смене настроек траву заменит снег, и пейзаж из летнего превратится в зимний. Несмотря на отсутствие понимания физического мира, сети GAN могут выдавать убедительные результаты благодаря работе взаимодействующей пары сетей: генератора и дискриминатора. Генератор создаёт изображения, которые он представляет дискриминатору. Обученный на настоящих изображениях дискриминатор показывает генератору, как можно улучшить реалистичность изображений, потому что он «знает», что настоящие пруды и озёра отражают окружающее.

GauGAN является мощным инструментом для создания виртуальных миров в любых сферах: от архитекторов и градостроителей до ландшафтных дизайнеров и разработчиков игр. С искусственным интеллектом, который понимает, как выглядит реальный мир, специалисты могут быстрее и эффективнее создавать и редактировать свои наброски и макеты.

Фото: NVIDIA