В последние годы мы становимся свидетелями кардинальных изменений в индустрии визуальных эффектов. И последним достижением стала возможность получать графику в реальном времени. Этим инструментом уже начинают пользоваться известные студии во всем мире. Первопроходцем, ставшим применять виртуальный продакшен в Азербайджане, стало креативное агентство The17Studio. Сегодня деятельность этой молодой компании заметно выходит за установленные в начале своей деятельности рамки. Спектр ее работ затрагивает продюсирование, продакшен, брендинг и создание пользовательских интерфейсов. Также основатели компании Мир Азад Алиев и Радель Вишневски активно инвестируют в передовые технологии для творчества. Работы The17Studio можно встретить не только на азербайджанском рынке, а команда агентства активно пополняется профессионалами со всего мира. Но сегодня мы поговорим именно о виртуальном продакшене и его влиянии на будущее кинематографа.

Игровой движок в кинематографе

Появление цвета и звука, компьютерная графика, хромакей, технология захвата движения, новый подход к 3D — все эти инновации серьезно меняли подход к съемкам. Предсказать, какая технология станет революционной в следующий раз — очень сложно. Но использование игровых движков уже сегодня производит тектонические сдвиги в киноиндустрии. Речь, прежде всего, идет об Unreal Engine 4. Этот движок использовали при съемках блокбастеров Marvel, новых «Звездных войнах» и сериале «Мандалорец».

Unreal Engine разработала компания Epic Games в 1998 году для создания шутеров от первого лица. В следующих версиях движок упрощался и становился более универсальным, а поэтому теперь в нем можно создавать проекты любых жанров для всех популярных платформ. Unreal Engine 4 позволяет создавать игры без долгого написания кода, а собственная система визуального программирования Blueprint доступна даже новичкам. Никаких особых навыков не требуется. При том, что Unreal Engine 4 сильно повлиял на игровую индустрию, он оказался полезен и за ее пределами. Активно движок используют в дизайне интерьеров и в кинематографе. В отличие от конкурентов Unreal Engine 4 предлагает фотореалистичную графику и огромную библиотеку ассетов (цифровых объектов). Движок позволяет создать проработанный и детализированный фон, который практически неотличим от реального. Еще одно важное преимущество заключается в том, что он обеспечивает быстрый производственный процесс.

— Что происходит в случае с хромакеем? Ваша работа должна пройти все этапы, включая пре-продакшен, продакшен, пост-продакшен и т.д., прежде чем вы увидите результат. В виртуальном продакшене все решается в реальном времени. Прямо здесь и сейчас на экране вы видите то, что сняли и как это будет выглядеть. Если что-то не понравилось, то сразу же можно переснять. В этом и заключается вся прелесть технологии. Она нацелена на то, чтобы максимально облегчить процесс съемки. И, в отличие от хромакея, использование которого обычный зритель уже различает, здесь он не почувствует ничего, — говорит Радель Вишневски.

Важная особенность Unreal Engine 4 — инструмент под названием Sequencer. Он решает задачи в реальном времени, перемещает фрагменты сцены, подбирает подходящие объективы, настраивает освещение и устанавливает фокусировку. Благодаря Sequencer самым популярным способом применения Unreal Engine 4 на съемках стало создание реалистичного фона. Технологию можно использовать в реальном времени, поэтому теперь это занимает не несколько часов, а всего пару минут и несколько кликов. Иногда специалисты по спецэффектам дорабатывают сцены на пост-продакшене, но часто даже этого не требуется. В создании фонов помогает шаблон Unreal Engine 4 под названием nDisplay, который позволяет проецировать изображение сразу на несколько экранов или поверхностей. Сгенерированные фоны транслируются на огромные LED-экраны и создают иллюзию, будто актеры находятся внутри этого пространства. Еще один полезный для кино инструмент — технология Stagecraft, которая создает и меняет реалистичное окружение прямо на съемочной площадке.

В каких проектах использовали виртуальный продакшен?

— Пока что использование виртуального продакшена в кинематографе — все еще большая редкость. Первый знаковый шаг сделал Джеймс Камерон в фильме «Аватар», где виртуальный продакшен был использован для съемочного процесса, а не для зрителей. Но самый большой вклад в то, чтобы технология стала популярной, сделал шоураннер сериала «Мандалорец» Джон Фавро в партнерстве с Epic Games, — говорит Мир Азад Алиев. — Именно у Фавро на сегодняшний день самый большой опыт по внедрению Unreal Engine 4 в съемочный процесс.

История использования игрового движка началась с «Книги Джунглей», где актеру, игравшему Маугли, приходилось бегать среди «синих экранов». Необходимость подолгу перемещать хромакей и обдумывать детали рендеринга выводили Фавро из себя, поэтому он решил воспользоваться возможностями движка Unity. С его помощью создали предварительную визуализацию некоторых сцен, которая транслировалась в VR-очках у актера и съемочной команды. Как выразился сам Фавро, они создали нечто вроде «многопользовательской VR-игры о съемках фильма». Именно эта технология стала фундаментом для создания его следующего крупного проекта, которым стал фотореалистичный ремейк «Короля льва». Фактически, фильм был изначально полностью поставлен в VR, чтобы во время настоящих съемок команда могла отталкиваться не от раскадровок, а от анимации с готовыми светом, цветокоррекцией, операторскими приемами и т.д. Теперь больше не требовалось подолгу искать общий язык с VFX-художниками и присылать им правки. Вся графика уже была перед глазами режиссера. Это и убедило Фавро в эффективности такого подхода.

В сериале «Мандалорец» уже по максимуму использовался движок Unreal Engine. Во-первых, Фавро использовал ту же стратегию с предвизуализацией, что и в «Короле Льве». Во-вторых, на смену хромакею окончательно пришли LED-экраны с проекциями созданных в Unreal Engine 4 фонов. Технология Stagecraft помогла с рендером не только экзотических пейзажей, но и фрагментов корабля главного героя, что позволило серьезно сэкономить на реквизите. С помощью этих возможностей в реальном времени дорисовывали недостающие объекты, меняли время суток и добавляли детали, которые сразу же проецировались на светодиодные стены. Фавро даже уверяет, что многие эпизоды «Мандалорца», снятые на фоне таких экранов, вошли в финальный монтаж без пост-обработки.

Что касается проекций на LED-экраны, то Фавро не был в этом первым. Их уже использовали в другом проекте по вселенной «Звездных войн» — «Изгой-один». Кроме того, Unreal Engine 4 в фильме применялся для визуализации робота K-2SO, которого полностью отрисовали, а затем перенесли в VR, упростив актерам взаимодействие с персонажем. Виртуальный продакшен и проекции также применялись при создании «Соло» и девятого эпизода «Звездных войн». Движок от Epic Games также используют при создании анимации, причем в качестве основного инструмента. С помощью Unreal Engine 4 была отрисована целая сцена мультфильма «В поисках Дори» от Pixar.

Виртуальный продакшен в Азербайджане

— Такой подход позволяет существенно экономить не только время и средства, но и серьезно помогает актерам. Они не теряют чувство присутствия в сцене, как в случае с хромакеем, всегда знают, где горизонт, ощущают освещение на себе. И вам даже не нужно настраивать свет на площадке, ведь вы получаете много интерактивного света от этих светодиодных экранов. Например, несколько лет назад мы снимали ролик с болельщиком на стадионе в Барселоне. Для того, чтобы попытаться вызвать в нем соответствующие эмоции от зрелища, которое невозможно было прочувствовать из-за хромакея, вся съемочная бригада начала скандировать, стараясь помочь ему окунуться в атмосферу игры. В случае с виртуальным продакшеном снять такую сцену было бы намного проще. К тому же, в определенной части наших работ принимают участие непрофессиональные актеры, но благодаря используемой технологии у них все получалось очень натурально, — рассказывает Радель Вишневски. — Вы получаете невероятное преимущество при съемке рекламы, короткометражных фильмов и клипов. По факту, виртуальный продакшен открывает просто массу возможностей. Мне довелось участвовать в процессе съемок многих крупных проектов, где съемочная группа сталкивалась с проблемами при выборе места для съемок. То интерьер квартиры, где ведутся съемки, не совсем вписывается в необходимые требования, то художник не успевал доделать свою работу в определенные сроки. Кстати, вы, наверное, обратили внимание, что в большинстве рекламных роликов и клипов, снятых в Азербайджане, используются по сути одинаковые локации? У кого-то из знакомых появляется хорошо обставленная вилла и все съемки переводят туда. Поэтому, в принципе, все сериалы у нас похожи друг на друга. Поэтому недавно и рекламу двух крупных конкурентов сняли в одной и той же квартире. А мы же можем предоставить не один, а 10, 20 или 100 вариантов локаций.

— Сложности обычно бывают связаны и со съемками автомобилей. Встают вопросы о получении разрешения на перекрытие дороги, поиск необходимой марки автомобиля и т.д. А с помощью виртуального продакшена все делается буквально мышкой. Мы можем воссоздать старый Бакинский бульвар или сделать сцену бульвара будущего с летающими автомобилями и не столкнемся с подобными проблемами. Первые полчаса мы можем снимать квартиру, следующие — стадион, потом сменить локацию на лес или пустыню. Сам экран я в шутку называю телепортом. Он и похож на телепорт, а движение камеры будто открывает окно в другой мир, — дополняет Мир Азад Алиев.

«Мандалорец» стал первым случаем использования рендеринга в реальном времени и светодиодных стен для эффектов на съемках кино. Это было необходимостью, которая вытекала из обозначенных сроков, места для съемки и бюджета. Но саму идею с использованием светодиодных экранов позаимствовали из прошлого. Подобные технологии применяли еще в 30-х годах прошлого века, например, при съемке «Кинг-Конга», когда фоны проецировали на стену за персонажами. Особенно сложные сцены раньше снимали в светодиодном павильоне. По сути, это огромный зал, полностью состоящий из экранов. Сгенерированное окружение проецируется на все поверхности. При работе в таком павильоне можно сразу запечатлеть все необходимое в кадре, а не откладывать на пост-обработку, как при съемках с хромакеем. Фоны — это фотографии реальных локаций, которые оцифровывают и реалистично расставляют по геометрии в Unreal Engine 4. Специальные трекеры отслеживают положение камеры и в реальном времени меняют фон в зависимости от ее движения. Перспектива и параллакс (видимое изменение положения объекта относительно удаленного фона в зависимости от положения наблюдателя) тоже постоянно меняются, как бы подстраиваясь под оператора. Кстати, главное преимущество новой технологии заключается в том, что она создает иллюзию настоящей съемочной площадки в отличие от павильона с хромакеем.

Технология виртуального продакшена дает больше свободы для творчества, потому что позволяет менять все что угодно в реальном времени. При таком подходе можно передавать сцены на монтаж прямо в день съемок. Можно найти ошибку и сразу же ее исправить, вернувшись на площадку и за несколько минут поменяв изображение на фоне. Причем, все это без каких-либо дополнительных затрат! Достаточно переставить любой объект или источник света внутри сгенерированной сцены и включить экран. Актерам не приходится постоянно включать фантазию, как при съемках с хромакеем. Реалистичное изображение всегда у них перед глазами. Они могут взаимодействовать с окружением, так как на полу перед экраном всегда размещают реальные объекты. Эти объекты находят свое продолжение на светодиодной стене. Если на проекции пустыня, то и на полу будет песок. Все элементы настолько точно подгоняют друг к другу, что сложно понять, где заканчиваются реальные вещи и начинается изображение. За счет использования игрового движка и рендеринга в реальном времени изображение всегда будет выглядеть так, как нужно, как бы ни двигалась камера. А сами камеры расставляют так, будто снимают реальность внутри видеоигры.

— Как и многие революционные технологии из прошлого столетия, хромакей закономерно сменит новая более удобная и дешевая в производстве технология. Я думаю, что в будущем все фильмы будут сниматься с использованием технологии виртуального продакшена. А с выходом Unreal Engine 5 процессы в движке становятся еще проще и удобнее для рендеринга, что позволит добиться высокого качества эффектов без лишних затрат. Так, технология, пришедшая из игр, в корне изменит кинематограф. Сегодня с помощью международной команды мы разрабатываем программное обеспечение и моделируем различные сцены. Я очень горжусь, что пионером, привнесшим виртуальный продакшен на рынок Азербайджана, стала The17Studio, и очень благодарен всем, кто поддерживает нас в желании развивать эту технологию в стране, — говорит Мир Азад Алиев.

Не исключено, что благодаря Unreal Engine или аналогичному инструменту, кинематограф в будущем станет в буквальном смысле интерактивным. Наблюдая за тем, как используется технология виртуального продакшена сегодня, можно представить, как зритель будущего изменяет фон и детали фильма прямо во время просмотра. И тогда мы станем свидетелями создания натуральной синергии между двумя мирами — миром игр и кинематографом.