Компания Alibaba представила модель LHM (Large Animatable Human Reconstruction Model), которая анимирует персонажа на загруженной фотографии, используя движения с видеореференса. Модель LHM «детально сохраняет форму и текстуру одежды», отмечает компания.
До этого для «3D-реконструкции человека», которая используется, например, для создания фильмов и игр, моделировали статичное изображение персонажа с последующей анимацией. Метод наложения изображения на видео позволяет достичь «более высокой точности движений».
Пока что LHM плохо справляется с обработкой роликов, в которых есть смена ракурса или резкие изменения позы персонажа. В будущем разработчики планируют решить эту проблему.
Бесплатная демоверсия доступна на HuggingFace, доступ к коду — на Github.
