Компания OpenAI представила Sora 2 – новую ИИ-модель генерации видео и аудио, которая позиционируется как огромный качественный скачок по сравнению с оригинальной Sora.
Sora 2 может генерировать сложные сцены вроде гимнастических упражнений или сальто назад и не искажает реальность, отмечает OpenAI. Если ранние модели для генерации видео часто создавали правдоподобную «картинку», но не справлялись с элементарной логикой движений — например, могли «телепортировать» баскетбольный мяч в корзину при промахе, то Sora 2 моделирует именно поведение объектов. Физика взаимодействий соблюдается точно, что имеет большое значение для создания правдоподобных видеороликов. Промах — значит, мяч отскочит от щита. Фигурист, делающий тройной аксель, может ошибиться и упасть. Система научилась генерировать точно не только успешные попытки, но и неудачные. Длительность ролика составляет 16 секунд.
Также особенностью Sora 2 является возможность синхронизировать диалог, звуковые эффекты и окружающий шум, создавая аудиовизуальные сцены. Модель способна интегрировать реальные объекты и людей в сгенерированное окружение с высокой точностью, при этом сохраняя естественный облик и голос. Для этого достаточно записать короткий видео- и аудиофрагмент с персонажем, который затем становится «камео» внутри любой сцены.
Кроме того, Sora 2 лучше понимает «сложные» промпты, которые описывают несколько кадров, сохраняя общий стиль. Например, при генерации аниме или сцен фильмов. В качестве примера приводятся ролики, где фигуристка выполняет сложную программу из нескольких элементов с котом на голове, или где герой аниме вовлечен в зрелищную битву. Sora 2 умеет работать с несколькими стилями: реалистичным, кинематографичным и аниме.
Одновременно с запуском Sora 2, OpenAI представила iOS-приложение Sora, в котором пользователи смогут генерировать ролики и делиться ими с друзьями, а также делать ремиксы на работы друг друга, находить новые видео в настраиваемой ленте Sora и добавлять себя или своих друзей с помощью функции «камео». С помощью «камео» можно попасть в любую сцену Sora, для этого нужно через само приложение записать короткое видео с собой и свой голос для подтверждения личности и захвата образа. Приложение напоминает TikTok, о подготовке к его запуску писало Wired.
Пользователь сам будет решать, кто и как может использовать его «камео». Любое видео с участием пользователя можно удалить в любой момент. Контент с откровенно вредным содержанием или созданный без согласия людей блокируется на уровне алгоритмов и модераторов.
Приложение Sora уже доступно для скачивания пользователям iPhone в США и Канаде, регистрация проходит через систему приглашений. Для подростков предусмотрены ограничения и родительский контроль. В будущем OpenAI планирует расширить список стран.
