Вышла новая нейросеть, которая умеет создавать звуки, в том числе музыку, по текстовому описанию

Ученые из Университета Суррея (Великобритания) приглашают протестировать их новую модель преобразования текста в аудио. Авторы разработки уверены, что алгоритм вызовет взрыв творчества в музыкальной индустрии и за ее пределами. Научная статья опубликована на сервере препринтов arXiv.

AudioLDM — это новая система на основе искусственного интеллекта, которая в ответ на текстовый запрос создает аудиодорожку. AudioLDM уже можно попробовать здесь. Послушать музыку, которую уже сгенерировали пользователи, можно здесь.

Создатели предлагают использовать систему при создании фильмов, игр, цифрового искусства, в метавселенной и в качестве цифрового помощника для слабовидящих.

Хаохэ Лю, руководитель проекта: «Любой может создавать высококачественные и уникальные сэмплы за считанные секунды с очень небольшой вычислительной мощностью».

Модель построена с помощью метода, который позволяет обучать ИИ на огромных объемах разнообразных аудиоданных без текстовых меток, что значительно увеличивает возможности алгоритма.

OpenAI представил миру GPT-4 — языковую нейросеть нового поколения

Текстовую нейросеть научили «думать» еще лучше, чтобы избавить от расизма и сексизма

Исследование: ИИ пока рано использовать при вынесении решений в судах