Виртуальная камера
Идея создать виртуальную камеру пришла к Роберту Легато, когда он работал на фильме Майкла Бэя «Плохие парни 2», во время создания превиза (черновой анимации экшн-сцены для последующей съемки ее элементов).
«У Бэя была команда аниматоров, — рассказывает Легато. — И он раздражался, потому что не мог объяснить им, что ему нужно. Ведь при создании превизуализации необходимо показывать те ракурсы и движения, которые способна воспроизвести на площадке реальная камера. Режиссер не мог донести до человека, который никогда не работал с профессиональным оборудованием, что он хочет увидеть. Он хотел взять камеру в руки и наглядно показать, что видит объектив с фокусным расстоянием 14 мм в 5 см от земли. И я тоже раздражался, потому что это невозможно объяснить, схватив компьютерную мышку. Необходим физический опыт».
О мультфильме «Король Лев» (2019)
И когда Легато приступил к созданию сложной спецэффектной сцены в «Авиаторе» — сцены крушения Хьюза — ему потребовалось понять, как реальный оператор снял бы эту сцену, будь он там. Именно тогда ему пришла мысль: «Почему бы не придумать инструмент, который будет имитировать реальную камеру в виртуальном мире?»
Роберт Легато, (справа) и Калеб Дешанель во время работы над мультфильмом «Король Лев» (2019) в Кении / Фото: Disney
«С этой камерой я могу ходить по пустому павильону и „снимать“ те CG-кадры, которые мне нужны, с любой конструкции: операторский кран, долли, стедикам и так далее, — объясняет Легато — после чего кадры можно монтировать обычным образом».
Легато показал свое изобретение Джеймсу Кэмерону. И, как говорится, дальнейшее — уже история.
«Король лев» (2019)
Но чтобы создать такую картину, как «Король лев» (2019), требуется не только виртуальная камера, но и развитие компьютерной графики, которая позволила бы воссоздать в CG (C for Graphics) животных со всей их мохнатостью. Но это — совсем другая история. А пока мы сфокусируем свое внимание на виртуальной камере и операторской работе в фильме Джона Фавро. Кинематографисты постарались, чтобы, несмотря на синтетическую среду и животных, работа камеры была абсолютно реалистичной.
Калеб Дешанель во время работы над мультфильмом «Король Лев» (2019) в Кении / Фото: Disney
В этот раз режиссер, который только что сделал похожую картину — «Книга джунглей», выбрал оператора-постановщика с 45-летним опытом съемки реального кино, шестикратного номинанта на премию «Оскар» Калеба Дешанеля.
Философия создания «Короля льва» заключалась в возможности позволить реальному оператору-постановщику применять традиционные техники съемки в виртуальном мире — с виртуальными камерой, объективами и светом. Реальной кинематографией в точности воспроизведенной с помощью компьютера.
За дизайн виртуальной системы съемки отвечали VFX-супервайзер Роберт Легато, супервайзер виртуального производства Бен Гроссман и компания по созданию виртуальной реальности Magnopus. Команда Magnopus под руководством Легато создала программное обеспечение, реальные акссесуары («железо»), дизайн и постройку всей сцены, а также работу на ней.
Начало работы над фильмом
Для начала съемочная группа отправилась в Кению снимать референсы и изучать «декорации». В отличии от парков живой природы, львы здесь были весьма агрессивны. Дешанель заснял реальную прерию и некоторых животных Африки. И это стало вдохновением для последующей работы. «Это было важно для эмуляции локации, неба, текстур и так далее», — говорит Дешанель.
Сначала Джон Фавро работал с аниматорами, и только потом к проекту привлекли Роба Легато и художника-постановщика Джеймса Чинланда — для создания превизов.
Съемочная группа смотрела на черновые объекты и продумывала, как бы они сняли эту сцену в реальной жизни? После чего предлагали изменения в скорости и направлении движения, а также вносили коррективы в создание локации. Этот процесс влиял на всю картину.
Режиссер Джон Фавро (крайний слева), Калеб Дешанель Джеймс Чинлунд, Роберт Легато, Энди Джонс изучают мир в рамках подготовки к виртуальной съемке / Фото: Disney
После чего команда аниматоров под руководством супервайзера анимации Энди Джонса делала анимацию с опорой на это обсуждение. Постепенно объекты в кадре становились все более реалистичными. И вот, в сцене отсутствовала только шкура, все остальное было реалистично: деревья, скалы и можно уже было видеть эмоции.
«Мы хотели, чтобы это был фильм Калеба Дешанеля, — говорит Джон Фавро. — Поэтому я его и выбрал, чтобы он сделал из этого традиционное игровое кино. В оригинальном мультике есть вещи, которые в игровом кино смотрелись бы слишком пугающе или кроваво, слишком агрессивно. Но у нас был Калеб, который понимает кадрирование и освещение, и может показать эмоции, оставаясь в рамках семейного кино».
Операторская работа
Фильм «снят» традиционным образом, только в виртуальной реальности.
«У нас была реальная долли в павильоне, — рассказывает Дешанель. — Но некоторое время не было дольщика. Работа дольщика — это настоящее искусство! Это балет, танец, дольщик должен понимать, как плавно двигаться за персонажами. Я вдруг понял, насколько важным является это умение. Так что, мы нашли очень опытного дольщика. Гай Мишелетти продержался в этой должности дольше всех. Обычно их хватало на неделю, не больше.
(Слева направо) Джон Фавро, Калеб Дешанель, Билли Эйхнер (озвучивает Тимона) и Сет Роген (Пумба) на съемочной площадке мультфильма «Король Лев» (2019) / Фото: Disney
Та же ситуация с настройкой фокуса. Сначала мы доверились компьютеру, но мне это не понравилось, и я взял своего постоянного ассистента Томми Тиче. Он сделал все так, как обычно происходит в реальном игровом кино. Казалось бы, неужели это важно? Но решение перевести фокус с одного персонажа на другого в нужный момент принимает именно человек. И, поверьте, вы бы заметили разницу, если бы это было не так».
На съемочной площадке мультфильма «Король Лев» (2019) / Фото: Disney
«Мы задали себе вопрос, — объясняет Роберт Легато. — „Как бы мы снимали ту или иную сцену, если бы делали это в реале?“ Вот например, сцена, где Зазу летит рядом с главным персонажему. Ее бы мы снимали с дрона. И как нам это имитировать? Да просто применить дрон! У нас была система его имитации и настоящий оператор дрона, который также был пилотом вертолета. Мы выстроили для него виртуальный путь и попросили облететь дерево. Он знал, что облет надо начинать метров за 30, потому что в реале нельзя развернуться на месте, как в компьютере. Он сделал для нас очень классный кадр, абсолютно реалистичный».
Захват движения камеры
Работа над картиной велась на складе в Playa Vista (Калифорния). Он был обвешан инфракрасными камерами, которые требовались для отслеживания движения операторской камеры и передачи этих данных в систему виртуальной реальности.
Калеб Дешанель на съемочной площадке мультфильма «Король Лев» (2019) / Фото: Disney
Компания MPC под руководством VFX-супервайзера Адама Валдеза создала пейзаж на 360 градусов и анимировала всех виртуальных обитателей этих сцен. Для «проникновения» съемочной группы в виртуальный мир была написана специальная программа, работающая на движке Unity. Применив готовую систему виртуальной реальности HTC Vive и систему трекинга Valve’s Lighthouse VR, команда смогла выстроить нужные кадры. Все движения камеры кодировались с помощью US Digital. Это позволило воспроизвести все необходимые движения камеры: операторский кран, долли и управление самой камерой.
«Когда система была окончательно развернута, со всем пакетом операторской команды, ее „нацепили“ на модернизированный джойстик для дрона — с кучей кнопок, — рассказывает Гроссман. — Это позволило Калебу взять в руки всю операторскую систему и просто ходить с ней по площадке. Он мог полностью управлять камерой: фокус, скорость, смена объективов. Также Калеб мог помечать свою траекторию, возвращаясь на нужные точки при необходимости. Вместо наклеивания цветной пленки на полу павильона в реале, он просто ставил прозрачную метку в виде камеры в виртуальном пространстве, а его ассистенты уже ориентировались по ним».
Калеб Дешанель на съемочной площадке мультфильма «Король Лев» (2019) / Фото: Disney
Команда также применила систему сенсоров NaturalPoint’s OptiTrack, которая позволяла записывать даже малейшие нюансы движения оператора. «Следующим шагом для технологии захвата движения будет переход от отражающих к светодиодным активным маркерам, — объясняет Гроссман. — Мы поставили на потолке систему из более чем 60 камер: комбинацию OptiTrack Slim 13 и блоков Prime 17W, сильно увеличив объем данных захвата. Мы также получили возможность масштабировать нашу систему, привязывая ее к разным по размеру виртуальным локациям, которые снимали с дронов и стедикама. Это позволило нам снимать с рук на больших дистанциях».
Виртуальная камера представляла собой большеформатную систему ARRI ALEXA 65 — именно ею Калеб и его коллеги снимали референсы в Кении. Количество пикселей на виртуальном сенсоре было слегка кропнутым по отношению к матрице ALEXA 65, чтобы стандартизировать технические установки видео, объединив референсы, захват движения, монтажную, работу с VFX и в итоге — кинопроекцию.
На съемочной площадке мультфильма «Король Лев» (2019) / Фото: Disney
Объективы рассчитали по системе Panavision 70 Series, которыми они снимали в Африке. Это были в основном три зума и два фикс-объектива: 28-80 мм (T3), 70-185 мм (T3.5) и 200-400 мм (T4.5), 14 мм и 24 мм.
В виртуальной реальности оператор даже видел камеру с точным объективом на ней.
Виртуальное освещение моделировалось по реальной системе киносвета ARRI со всеми заслонками и стойками. Все значения света можно было изменять в реальном времени. Изменяя световую температуру, можно было имитировать свет, исходящий из разных осветительных приборов. Мощность этих приборов колебалась от 150 до 20 тысяч ватт.
Ковер-самолет
«Иногда нам нужно было охватить площадь большую, чем 7,5 кв. метров, — говорит Дешанель. — Для отдельных музыкальных номеров нам требовалось покрыть расстояние от 45 до 61 метр. Увеличивать движение стедикама можно только до определенного предела. Когда 1 метр пролета реального стедикама увеличивается до 4, движение камеры перестает быть естественным».
На съемочной площадке мультфильма «Король Лев» (2019) / Фото: Disney
Чтобы решить эту задачу команда применила «полет на ковре-самолете», как назвал это Роберт Легато. «В этой технологии всю систему OptiTrack, площадью 7,5 на 7,5 метров, поместили на движущийся риг, вроде долли или операторского крана. Так вся съемочная площадка оказалась мобильной. Такой платформы в реальном мире не существует. Но в нашем случае — оператор стедикама мог снимать во время движения всей платформы по виртуальному миру».
«Платформа двигалась плавно, поэтому масштабирования движения стедикама не ощущалось, — говорит Дешанель. — Мы снимали камерой, которая плыла рядом с персонажами, а стедикам при этом двигался вокруг них. Можно было заставить кран с камерой двигаться по диагонали куба стороной 7,5 метров».
Кадр из мультфильма «Король Лев» (2019) / Фото: Disney
Кстати, движение операторской тележки в реальном мире также можно было перевести в вертикальное движение в виртуале. Для отдельных сцен рельсы для долли были проложены на парковке у Playa Vista, чтобы камера могла двигаться по дистанции 45 метров. Так движение платформы с камерой можно было записать заранее, и потом, передав данные о кривой этого движения в Unity, вносить в них изменения.
Освещение
«Итак, у нас был монументальный мастер-файл со всей анимацией и локациями на 360 градусов, — рассказывает Легато. — Теперь нужно было пойти и скадрировать все это виртуальной камерой, осветить и сделать из этого шоты. Мы отправились в виртуальную реальность и уже начали давать точные указания: „Помести солнце тут, поставь скалы на передний план, и эту сцену я сниму объективом 50 мм“. Теперь всю сцену можно посмотреть — войти в программу и снять ее. Сразу начинаешь думать о виртуальном пейзаже, как о реальной локации. И дальше уже просто делаешь шоты: ставишь камеры, выстраиваешь ракурсы и планы — тут общий, тут крупный. Мы не ставим много камер сразу, снимаем одной, потому что движения персонажей будут повторяться идентично».
Кадр из мультфильма «Король Лев» (2019) / Фото: Disney
Для создания сцены нужно выбрать настроение. Чаще всего это определяется освещением и небом. У команды оператора было 350 вариантов неба на выбор. Можно было найти нужное облако и соответствующее солнце, и так далее. Кстати, солнце двигали почти в каждой сцене.
О мультфильме «Король Лев» (2019)
Интересно, что в своем анализе сцены из фильма Джон Фавро говорит, что конкретно здесь он специально выбирал невыразительное белесое небо, хотя у него в распоряжении были невероятно красивые виды. Но ведь в реальной жизни далеко не всегда можно получить красивое небо, чаще оно белесое и безвкусное. И это добавило сцене реализма.
Калеб Дешанель на съемочной площадке мультфильма «Король Лев» (2019) / Фото: Disney
В эпизоде с лесом оказалось, что солнце не проникает так глубоко. И команда начала убирать деревья из сцены, чтобы добиться нужного освещения. Но позже MPC должна была восстановить локацию, поэтому пришлось давать четкие указания по сохранению искомой освещенности.
«Я не могу описать, насколько работа с виртуальной реальностью похожа на реальную работу оператора на площадке, — говорит Дешанель. — Просто поверьте, что это действительно так».
Обложка: кадр из мультфильма «Король Лев» (2019) / Disney