Нейросеть научили создавать реалистичные 3D-модели из плоских картинок: видео

Представьте, что создавать 3D-модели для игр, фильмов или строительства — это как лепить из глины. Долго, сложно и требует много ручной работы. Ученые из Массачусетского технологического университета придумали, как это упростить, используя новую модель искусственного интеллекта. 

Инженеры использовали технологию под названием Score Distillation. Этот искусственный интеллект берет за основу обычные 2D-картинки объекта и превращает их в 3D-объекты. 

Процесс состоит из нескольких этапов. Создается «черновик» 3D-модели, делается 2D-снимок этого черновика под случайным углом. На этот снимок накладывают «шум» (случайные хаотические данные) — это как добавить зернистости на фото. Далее с помощью специальной диффузионной ИИ-модели, лишний шум удаляется, черновой вариант становится лучше. Затем черновик 3D-модели меняется, чтобы он стал похож на «чистую» 2D-картинку. 

Эти этапы повторяются, пока 3D-модель не станет идеальной формы.

Диффузионные модели — это ИИ, которые умеют создавать реалистичные картинки из «шума» (хаотичных точек). В целях обучения их сначала учат добавлять шум на картинки, а потом убирать его обратно. Когда модель научится, она может сама создавать новые картинки.

Но создание 3D-моделей таким способы было хоть и более быстрым, но часто получались размытыми. Ученые обнаружили, что проблема была в формуле, которую использовал Score Distillation и поменяли ее. Вместо того, чтобы просто добавлять случайный шум, они стали использовать информацию из самой 3D-модели. Это как, зная форму фигурки, добавлять нужные кусочки глины, а не просто размазывать ее.

В результате ученые смогли использовать готовые ИИ-модели, чтобы создавать гладкие и реалистичные 3D-модели без дополнительного обучения. 3D-объекты стали такими же четкими, как и те, что делали дорогими и сложными способами.

Теперь создавать 3D-модели станет намного проще и быстрее. Это может пригодиться во многих областях, от архитектуры до медицины. Кроме того, если улучшить сами диффузионные модели, то и 3D-модели будут получаться еще лучше, добавила группа инженеров.