Китайская компания ByteDance сегодня представила новую систему искусственного интеллекта OmniHuman-1. Нейросеть может преобразовывать фотографии в реалистичные видеоролики. Пользователь может настраивать такие элементы, как соотношение сторон и кадрирование.
Новая система создает максимально естественные движения, включая мимику, жесты и синхронизацию с речью. OmniHuman-1 генерирует видео в полный рост, на которых люди жестикулируют и двигаются в соответствии с речью, превосходя предыдущие модели искусственного интеллекта, которые могли анимировать только лица или верхнюю часть тела. Видео, созданные OmniHuman-1, выглядят поразительно реалистично.
«В последние годы сквозная человеческая анимация значительно улучшилась, но существующие методы все еще ограничены в масштабируемости и качестве. OmniHuman-1 преодолевает эти ограничения, предлагая более универсальное решение», — заявили разработчики ByteDance.
OmniHuman-1 была обучена на более чем 18 700 часах видеоданных, используя новый подход, который объединяет несколько типов входных данных — текст, аудио и движения тела, что позволяет ей создавать видео с высокой точностью. Эта стратегия обучения «всеобщих условий» позволяет ИИ обучаться на гораздо более крупных и разнообразных наборах данных, чем предыдущие методы. «Наша главная идея заключается в том, что включение множественных кондиционирующих сигналов, таких как текст, аудио и поза, значительно сокращает потери данных и улучшает качество результата», — пояснили в компании.
В ходе тестирования OmniHuman-1 продемонстрировала превосходство над существующими системами по нескольким ключевым показателям качества. Она способна создавать видео с высокой детализацией и реалистичностью. Примеры работы OmniHuman-1 уже доступны для ознакомления.
Возможные применения технологии deepfake вызывают сильное беспокойство. За последнее время она уже не раз использовалась для дезинформации, мошенничества и других нечистоплотных целей. В настоящее время сотни экспертов по этике ИИ выступают за регулирование дипфейков.
