Исследователи из Института интеллектуальных вычислений Alibaba разработали новую систему искусственного интеллекта под названием EMO, сокращенно от Emote Portrait Alive, которая может анимировать портретную фотографию и создавать удивительно реалистичные видео говорящего или поющего человека.
Система способна воссоздавать плавные и выразительные движения лица и позы головы, которые точно соответствуют нюансам предоставленной звуковой дорожки. Это представляет собой большой прогресс в данной области.
«Традиционные методы часто не могут передать весь спектр человеческих выражений и уникальность отдельных лиц, — отмечает ведущий инженер проекта Линруй Тянь (Linrui Tian). — Для решения этих проблем мы предлагаем EMO — новую модель, которая использует прямой синтез аудио и видео, минуя необходимость в промежуточных 3D-моделях или ориентирах лица».
Система EMO использует технологию искусственного интеллекта, известную как диффузионная модель, которая продемонстрировала огромные возможности при генерации реалистичных синтетических изображений. Исследователи обучили модель на наборе данных, состоящем из более чем 250 часов видеороликов выступлений, фильмов, телешоу и вокальных выступлений.
К сожалению, EMO от Alibaba пока недоступна для широкого круга пользователей, и ее возможности можно оценить только по предоставленным демонстрациям. Тем не менее, потенциал таких технологий огромен и их дальнейшее развитие обещает еще больше инноваций в области генерации видеоконтента и взаимодействия с искусственным интеллектом.
