Над картиной «Гемини» Энга Ли работала мощная команда из четырех VFX-супервайзеров: Гай Уильямс (Weta Digital), Билл Вестенхофер, Шелдон Стосак и Пол Стори (анимация).
Среди десяти инноваций, сделанных для фильма, — новая методология съемки, включающая «грязный» бой, использование глубоких форм и создание процедурных пор для цифровой кожи.
Методология съемки
Для сцен, в которых два Уилла Смита должны быть в кадре вместе, сначала снимали Генри — Уилла Смита в костюме главного персонажа. Помогал ему дублер молодой версии. Потом команда снимала чистый фон, чтобы убрать дублера из кадра.
Затем вся команда перемещалась в павильон, где отсматривала результат съемок и на его основе создавала сцену для молодого Уилла Смита, которого играл все тот же актер, но с маркерами на лице и нашлемными камерами, захватывающими его мимику. А дублер в этот раз отыгрывал Генри.
На съемках фильма «Гемини» (2019)
После чего синхронизировали звук и снова записывали его с Уиллом Смитом в первой роли. Новым пунктом здесь были дополнительные камеры — RED RAVEN, чтобы обеспечить запись со скоростью 120 кадров в секунду. Кстати, для киносъемки с такой скоростью требуется невероятное количество света, ведь выдержка одного кадра очень мала.
«Мы сообразили, что когда Уилл Смит в кадре один, мы могли просто снять его действия, надев ему на голову мокап-шлем, — говорит Гай Уильямс. — Потом мы просто затирали голову и заменяли ее головой молодого Уилла».
«Пепси-челлендж»
Частью процесса верификации цифровой версии Уилла Смита было сравнение рендера с кадрами из тех фильмов, в которых он снимался, будучи примерно в возрасте Младшего. VFX-художники брали кадр из фильма, рендерили такой же свет на своей CG-копии, и смотрели отличается он или нет.
«В итоге мы добились того, что отличить их было очень сложно, — продолжает Уильямс. — это был наш Уилл Смит 1.0. Тот, что в фильме, был примерно версией 35.0».
Кадр из фильма «Гемини» (2019) / Фото: Paramount Pictures
И вот потом был сделан «пепси-челлендж», который заключался в том, что цифрового Смита поместили в диалоговые кадры фильма «Плохие парни», где они с Мартином Лоуренсом сидят в машине и разговаривают. Там примерно 30 шотов. Цифровая голова повторяла движения, звук тоже совпадал. Задачей этого упражнения было показать две версии сторонним зрителям и попросить их выбрать, какая из версий оригинал.
Процедурная система пор
Обычно для получения текстуры кожи актера с него снимают слепок, потом получают копию его лица и наносят тонкий слой латекса маленькими частями. Таким образом получают текстуру кожи. Дальше эти кусочки кладут в плоский сканер и сканируют. Получается очень точная текстура, но поскольку она плоская, то какая-то часть данных теряется.
«Мы создали систему „выращивания“ пор на лице, — делится Уильямс. — Для этого применили карту пор, потому что у них есть структура и определенное разнообразие форм. И дальше уже управляли шириной, глубиной и высотой и анизотропией. Мы работали над отдельными областями до тех пор, пока не добивались абсолютного сходства с кожей актера. Главный плюс такой системы — поры получаются правильной формы. Да, они не абсолютно такие же, но они нужного размера и расположены на нужном расстоянии друг от друга в зависимости от области лица».
Процесс создания пор на лице для фильма «Гемини» (2019) / Фото: Paramount Pictures
Процесс создания пор на лице для фильма «Гемини» (2019) / Фото: Paramount Pictures
Процесс создания пор на лице для фильма «Гемини» (2019) / Фото: Paramount Pictures
Процесс создания пор на лице для фильма «Гемини» (2019) / Фото: Paramount Pictures
Процесс создания пор на лице для фильма «Гемини» (2019) / Фото: Paramount Pictures
Процесс создания пор на лице для фильма «Гемини» (2019) / Фото: Paramount Pictures
После чего художники взяли эту систему пор и наложили ее на лицо персонажа уже после анимации, прогнав поверх тетраэдрический солвер. Это позволило получить складки, которые проходят вдоль линии пор, а также сами поры, которые сплющиваются реалистично. Они имеют форму кристалла, поэтому могут сжиматься разными способами.
И все это работало вместе с симуляцией, был написан специальный скрипт, который прорабатывал каждый шот с анимацией за ночь.
Меланин
Цвет кожи определяется эумеланином и феомеланином — двумя подтипами меланина. «Важно, что вместо простого раскрашивания разных зон лица с помощью цветовой карты, мы получили нечто, что выглядит правильно, в зависимости от ракурса, с которого ты смотришь. Свет проникает в кожу и взаимодействует с правильным меланином, что дает спектральную реакцию и соответствующий визуальный результат — вместо простой карты цветов для отражения.
Вид кожи в принципе зависит от внешних факторов. У одной и той же кожи можно увидеть разные оттенки в зависимости от того, с какой стороны и под каким углом смотреть. А еще есть кровь и ее поток, и когда дотрагиваешься до лица (например, при ударе), то „выдавливаешь“ кровь из разных областей. Это мы реализовывали в нашем рендере Manuka».
Кадр из фильма «Гемини» (2019) / Фото: Paramount Pictures
Глубокие формы
Один из аниматоров студии придумал новую систему, названную системой глубоких форм, ее использовали еще на фильме «Мстители: Финал». С ее помощью компьютер считает бленд-шейпы лица слоями разной глубины. Так сначала двигаются мускулы, а уже потом — кожа, что лежит на них. Именно эффект задержки создает реалистичность движения. Например, когда глаз моргает, веко не просто идет вниз и вверх. Когда веко начинает подниматься, глазной мешок все еще двигается вниз — это дает натурализм живой кожи.
Моделлинг зубов и глаз
В этот раз зубы смоделированы правильно: в двух частях. Дентин и эмаль создавали отдельно. Поэтому зубы имели правильные переходы от желтого к голубому.
Визуальные эффекты в фильме «Гемини» (2019) / Фото: Paramount Pictures
Кадр из фильма «Гемини» (2019) / Фото: Paramount Pictures
Что касается глаз, то была создана слизистая оболочка, чтобы края глаз были желтоватые, как положено. И ее не просто «приклеили» к глазному яблоку: когда глаз смотрит вбок, радужка задерживается там на долю секунды дольше. Это придает движению реалистичность.
«Грязный» бой
Энг Ли придумал идею «грязного» боя. Дело в том, что когда на экране дерутся два каскадера, их движения отработаны и поставлены. Выглядит это так, будто они ждут следующего удара и знают, откуда он последует. Конечно, каскадеры работают над этим и пытаются скрыть хореографию драки. Но в стерео на скорости съемки 120 fps сделать это почти невозможно — постановочность драки становится очевидной. Энг хотел, чтобы движения были внезапными и не ожидаемыми противником, чтобы ритм был нерегулярным, а удар был настоящим.
Сцены из фильма «Гемини» (2019)
«Например, мы пытались сделать так, чтобы голова не начинала двигаться от удара, пока не пройдет первая его половина — пока удар не вытолкнет ее полностью, — объясняет Гай Уильямс. — Это было настолько сложно, что было желание перейти к битве цифровых каскадеров, но мы все играли с динамикой взаимодействия и скоростью, пытаясь избавиться от ощущения, что дерутся два каскадера. Нам пришлось делать симуляцию лица, чтобы вы увидели сильный удар и инерцию движения щек и ушей после него».
4К, 120 fps, нативное стерео
Фильм снимали в 4К на скорости 120 fps в настоящем стерео. В итоге получили в 40 раз больше данных, чем обычно (в 5 раз больше кадров, в 4 раза больше пикселей на кадр для двух глаз). Так загрузка одного двухминутного клипа в систему занимала до шести часов.
На съемках фильма «Гемини» (2019)
«У нас есть кластер от Penguin Computing, работающий на BeeGFS для хранилища данных, — рассказывает техник-супервайзер Бен Жервэс. — Это жесткие диски на 3 петабайта и 300 терабайт твердотельных накопителей, привязанные к 100-гигабитной сети. Весь материал, что прошел DI (финальный монтаж), занимал 360 терабайт, а архив фильма занимает 92 терабайта и представляет собой 1,8 миллиона кадров. Для сравнения, обычный фильм (2К, 24 fps, 2D) занимает 2,3 терабайта и содержит примерно 173 тысячи кадров».
Для фильма было проделано много ротоскопирования для удаления из кадра ненужных элементов и восстановления фона. И все работы удваивались автоматически — из-за стерео.
Заменять тело компьютерной графикой или нет?
Это был насущный вопрос. Если просто поставить цифровую голову на тело дублера, то будет видно, что она чужая. Ибо у каждого человека свой язык тела. Уилл Смит принимает одни решения по движениям, а дублер — другие. По идее, всегда нужно делать цифровое тело, анимированное с помощью мокап-данных. Ведь когда актер говорит, он производит какие-то, даже небольшие, движения. И даже когда не говорит, он все равно играет телом.
На съемках фильма «Гемини» (2019) / Фото: Paramount Pictures
Визуальные эффекты в фильме «Гемини» (2019) / Фото: Paramount Pictures
Кадр из фильма «Гемини» (2019) / Фото: Paramount Pictures
Цифровой двойник создавался практически во всех сценах, кроме двух случаев. В сценах, когда Уилл Смит не играет с самим собой — можно было одеть его под Младшего и тогда заменять только голову. И когда перед камерой каскадер — оставляли его тело, потому что Уилл Смит вряд ли отыграет этот экшн лучше.
Забавно, что в одной сцене каскадер для Младшего был сильно меньше ростом. Его заменили от пояса и выше. Если знать, в какой сцене и присмотреться, можно понять, что его ноги короче, чем должны быть. Однако, сделать это очень сложно, потому что ноги в тот момент согнуты при езде на мотоцикле.
Определение сходства
«Мы обнаружили, что добиться идеального сходства сложная задача, — говорит Уильямс. — Довольно легко было получить Улла Смита, который выглядел похоже. Но как только начиналась анимация и камера меняла ракурс, сразу выпирала какая-то деталь и сходство разрушалось. Так что нам постоянно приходилось следить за каждой мелочью».
На съемках фильма «Гемини» (2019)
Плюс во время анимации нужно было не забывать, что особенности персонажа должны проступать в любой сцене. И это в 10 раз сложнее. А еще нужно было следить, чтобы все формы, которые нужны для анимации, не изменяли внешности и не «убивали» сходство.
«Нам казалось, что если мы получим похожего персонажа в одном кадре, все остальные тоже заработают, — делится Уильямс. — А оказалось, что все совсем не так. Мы также не ожидали, что убедительность (в том, что это живой человек) и сходство будут настолько несвязанными друг с другом».
Кадр из фильма «Гемини» (2019) / Фото: Paramount Pictures
Зрители говорили: «Он выглядит как двоюродный брат Уилла, почти как Уилл, но как-то не совсем», — не связывая сходство с убедительностью.
«Представьте, что у вас система лица состоит из сотен форм, которые в свою очередь создают тысячи или даже десятки тысяч таких же и находятся в процессе постоянного изменения, — продолжает супервайзер. — И если хоть одна из них в процессе движения становится чуть-чуть неверна, вы больше не узнаете в этом лице Уилла Смита. Аниматоры назвали сходство лезвием ножа, по которому они все время двигались, пытаясь не упасть ни в одну сторону, ни в другую, и не потерять сходство».
Обложка: на съемках фильма «Гемини» (2019) / Фото: Paramount Pictures