Нейросеть научили создавать изображения по описаниям на русском языке

Кресло в форме авокадо? Синяя лягушка с пушистым хвостом? Будет сделано!

«Сбер» обучил нейросеть, создающую изображения по словесному описанию, рассказывает ТАСС. Теперь сеть ruDALL-E способна создавать изображения, используя их текстовое описание на русском языке.

За основу для ruDALL-E была взята нейросеть DALL-E, выполняющая аналогичные задачи на английском. Затем специалисты «Сбера» (компаний SberDevices и Sber AI при участии представителей SberCloud) провели обучение нейросети на своей базе изображений и текстов и дали ей новое название, подчеркивающее русификацию.

Как сообщили специалисты «Сбера», обучение проходило на 120 млн пар «изображение — текст» и заняло 23 000 GPU-часов.

«Нейросеть ruDALL-E одновременно обучается на двух видах данных: изображениях и текстах — и позволяет создавать неограниченное число новых изображений по заданному описанию, — заявили в пресс-службе "Сбера". — Проект по обучению ruDALL-E стал самым большим нейросетевым вычислительным проектом в России и СНГ».

Получив от пользователя описание, нейросеть генерирует некоторое число картинок, затем выбирает из них те изображения, которые лучше соответствуют описанию, и, наконец, увеличивает их в размере.

Фото: скриншот с сайта

Версия ruDALL-E XL выложена в открытом доступе на сервисе Github.

«Использовать ее можно для создания вариантов дизайна интерьера, стоковых изображений или векторных иллюстраций, материалов для рекламы, копирайтинга, архитектурного и промышленного дизайна», — добавили в пресс-службе «Сбера».

ИИ написал за Бетховена отрывок его Десятой симфонии

Искусственный интеллект оценил эффективность лечения лучше врачей

На сайте могут быть использованы материалы интернет-ресурсов Facebook и Instagram, владельцем которых является компания Meta Platforms Inc., запрещённая на территории Российской Федерации