Сбер представил надстройку для нейросетей, управляющую временем в видео

Российские исследователи разработали компактный модуль для генеративных нейросетей, который позволяет задавать частоту кадров и динамику событий в создаваемых роликах. О новинке сообщили в пресс-службе Сбербанка, отметив, что надстройка помогает искусственному интеллекту учитывать течение времени при генерации видео. Об этом пишет сайт Prokazan.

По данным банка, разработка также применима для создания физически достоверных синтетических данных, которые используются при обучении физического ИИ. Проблема существующих генеративных систем заключается в том, что они не всегда корректно передают скорость происходящего: быстрые действия могут растягиваться, а медленные — ускоряться или замирать. Это объясняется особенностями архитектуры моделей, где приоритет отдаётся эстетике отдельного кадра, а не физической достоверности.

Для решения этой задачи математики создали модуль из двух независимых блоков: один отвечает за частоту кадров, второй — за динамику сцены в каждый момент времени. При обучении надстройки использовался набор из 40 тысяч видеороликов с различной частотой и динамикой, включая сцены с людьми и медленные природные процессы.

Система может работать в двух режимах. В первом она подключается к уже обученной модели и делает движения более плавными, не меняя общий характер генерации. Во втором — дообучается вместе с генеративной нейросетью, что позволяет изменять не только плавность, но и физику сцены.

Тестирование проводилось на моделях Kandinsky 5.0 Video Lite и Wan2.2. Замеры показали, что разработка на 29% повысила естественность движений, на 8% улучшила визуальное качество и на 19% увеличила соответствие видео текстовому запросу. Как пояснил управляющий директор по исследованию данных Сбера Денис Димитров, раньше скорость происходящего в кадре задавали только слова в запросе, а повлиять на реальную динамику было сложно. С помощью надстройки модель понимает, как процессы разворачиваются во времени, и может естественно задавать нужный ритм в любой сцене, а не заучивает готовые шаблоны. Это ключевое условие для обучения физического ИИ и будущих моделей мира.

Исходный код проекта опубликован в открытом виде на популярных платформах для работы с искусственным интеллектом.