Исследователи компании Microsoft разработали новую нейросеть VASA-1, которая может создавать реалистичные видео из одного изображения и звуковой дорожки.
VASA-1 может воссоздавать выражение лица, точно синхронизированные движения губ и естественные движения головы. Нейросеть улавливает широкий спектр эмоций и различные нюансы, делая сгенерированные лица более правдоподобными.
Пользователи могут указать направление взгляда персонажа, его эмоциональное состояние и воспринимаемое расстояние. VASA-1 достигает реалистичности за счет разделения черт лица, трехмерного положения головы и выражений лица на отдельные части.
Исследователи подчеркивают эффективность работы системы в режиме реального времени. Она может создавать видео разрешением 512 х 512 пикселей с частотой 45 кадров в секунду.
Кода нейросети пока нет. Посмотреть примеры работы Microsoft VASA-1 можно на официальном сайте компании.
