Компания Google представила передовую модель Lumiere для создания видео при помощи искусственного интеллекта. Возможно, это самый мощный на сегодняшний день ИИ-генератор видео, создающий динамические изображения по текстовому описанию, заявляет компания. Важнейшим отличием Lumiere от существующих аналогов является уникальная архитектура «Space-Time U-net» модели — видео по всей его продолжительности генерируется за один проход. Другие модели работают по иному принципу: они генерируют начальный и конечный кадры, а затем воссоздают происходящее между ними.
Lumiere отличается способностью создавать удивительно реалистичные или сюрреалистичные видеоклипы продолжительностью до пяти секунд каждый. Она может анимировать неподвижные изображения или только их фрагменты в ответ на текстовые подсказки пользователя.
Нейросеть Lumiere также может копировать стиль изображения и применять его для создания серии видеороликов с единым внешним видом и атмосферой. Эта функция может быть использована для создания брендированного контента. Lumiere также может трансформировать стили исходного видео, превращая объекты в конструктор Lego, оригами или цветы, в зависимости от заданных параметров.
Google выделяет функцию «inpainting», которая позволяет удалять нежелательные элементы из видео. Пользователь может замазать ненужную часть изображения, а Lumiere автоматически заполнит это пространство так, что изменения будут незаметны.
В настоящее время ИИ-модель Lumiere является исследовательским проектом Google, но ее возможности демонстрируют значительный скачок в развитии генеративного ИИ для создания видео.
