В ГигаЧате появилась генерация видео со звуком на базе Kandinsky 6.0 Video

В мессенджере ГигаЧат стала доступна бесплатная генерация видеороликов с синхронным звуком в качестве до Full HD. Функция реализована на основе новой мультимодальной модели Kandinsky 6.0 Video, которая одновременно создает картинку и аудиодорожку. Данную информацию сообщает портал Бизнес News. Время зарабатывать.

Для получения готового ролика достаточно описать сцену текстом или загрузить первый кадр и добавить описание звукового ряда. Максимальная длительность такого видео составляет пять секунд, в будущем разработчики планируют увеличить этот показатель.

Как отметил старший вице-президент, руководитель блока «Развитие генеративного ИИ» Сбербанка Антон Фролов, цель компании — сделать генеративный ИИ естественным инструментом для креаторов. По его словам, модель позволяет любому человеку создавать более выразительные личные видео, а для профессионального контента это ускоряет и удешевляет производство. Kandinsky 6.0 Video передается разработчикам бесплатно и без ограничений.

Модель способна генерировать звук в широком диапазоне: от диалогов и цифровых эффектов до шагов, шума ветра или проезжающей машины. В одном ролике можно объединить речь, музыку и звуки окружения, при этом аудио создается в формате 44 кГц без потери качества. Если звук не нужен, нейросеть может создать видео без него.

Kandinsky стал первой российской нейросетью, умеющей создавать видео с синхронным звуком. Модель также улучшила передачу физики реального мира: движения людей, животных и техники выглядят естественнее. Для разработчиков Kandinsky 6.0 Video доступна в опенсорсе под лицензией MIT, что позволяет интегрировать ее в существующие продукты без написания интеграции с нуля.