Умный Халк и новый Танос: VFX в фильме «Мстители: Финал»

Халк

В фильме «Мстители: Финал» мы впервые увидели совсем другого Халка — полностью компьютерного Брюса Баннера, слитого воедино со своим большим и зеленым альтер-эго. И это потребовало совершенно нового подхода

Над сценами с новым Халком работали две компании, но основная доля пришлась на ILM — они создали модель нового Халка. К тому же им нужно было захватить игру Марка Руффало — на этот раз цифровой герой должен был повторять актера куда точнее, чем раньше. Эпизоды с умным Халком также делала Framestore. Обе студии работали под руководством VFX-супервайзера Дэна ДеЛюва.

Тест

Как и большинство проектов, эта работа началась с теста. Продюсер картины Кевин Файги нашел в сети интервью Марка Руффало о фильме «В центре внимания».«Марк был откровенен и естественен, — делится VFX супервайзер ILM Рассел Эрл. — И мы хотели посмотреть, как это будет выглядеть на таком большом и грубоватом создании, как Халк, которое раньше еще и практически не говорило».

Кадр из фильма «Мстители: Финал» (2019) / Фото: Marvel

Этот тест студия показала команде Marvel, а потом отослала его Марку Руффало. Теперь актер знал, что ему не нужно играть Халка — он может просто быть Брюсом Баннером.

Захват мимики

На площадке Руффало был одет в костюм для захвата движения и нашлемную камеру для захвата мимики. Захват движения производили компании Profile Studios и HMC. «Нашим приоритетом было дать Марку Руффало возможность играть вместе с другими актерами, — говорит Дэн ДеЛюв. — Так игра дается актеру намного легче, ведь все работают вместе».

«Когда у тебя на площадке кто-то вроде Марка Руффало, — объясняет ДеЛюв, — он привносит в своего персонажа нечто, что ты бы не смог найти сам. И это взаимодействие между актерами тоже дает нечто, чего ты сам бы не придумал, если бы использовал дублеров».

Для захвата мимики Руффало все время носил маркеры на лице и шлем с камерой. Предварительно актеров сосканировали в 3D несколько раз с использованием системы Meduza, разработанной командой Disney Research в Цюрихе. Она позволяет строить меши (формы) для каждого кадра, на основе которых строится модель и ее анимация. Главной задачей было перенести игру Руффало на CG-модель как можно ближе к исходному материалу.

Студия ILM переработала свою систему лицевой анимации. «Сначала нужно было убедиться, что наш солвер (программа, разбирающая данные, поступающие с камеры захвата мимики) может проанализировать игру Марка Руффало и перенести ее на ассет (3D-модель) нашего Баннера, — объясняет супервайзер анимации Рассел Эрл. — Мы стремились сохранить мельчайшие нюансы мимики. Начали со старого солвера, который у нас уже был, и переработали его. И к концу работы над проектом мы уже использовали новый солвер Disney Research под названием Anyma, который до того времени использовался в стационарном устройстве ADR, где было три камеры, а актер должен был повторить свою игру, чтобы ее захватили».

«Мы поговорили с теми парнями, — продолжает Эрл, — о попытке соединить нашу нашлемную камеру и их солвер Anyma, который не просто опирается на меши низкого разрешения, сгенерированные из точек — он генерирует меши для каждого кадра и применяет фотометрический анализ с опорой на данные этих камер».

«Мы пропускали отснятый материал с головных камер через наш солвер и стабилизировали данные, а потом использовали Anyma. Мы смотрели на отснятый материал и на нашего цифрового Баннера и понимали, что все работает. Только после этого мы делали следующий шаг в нашем пайплайне, который мы тоже полностью переработали — переносили эти данные на Халка».

Анимация умного Халка

Пока строился новый CG персонаж, Framestore также занимались тестами. Захват игры, референсы и подробное моделирование, правильное выставление ригов для анимации и текстуры дали аниматорам полный контроль над моделью. Аниматоры могли поправить или изменить любую деталь актерской игры. С одной стороны, в результате получался довольно точный перенос мимики Марка Руффало на Халка, который аниматоры перепроверяли по отснятому материалу. Но когда у тебя на экране Халк, часто требуется усилить или приглушить что-то, потому что его лицо все-таки отличается от лица актера.

Кадр из фильма «Мстители: Финал» (2019) / Фото: Marvel

Аниматоры Framestore использовали похожую методологию, а также искусственный интеллект. «Мы сделали тест прежде, чем получили эту работу, рассказывает VFX-супервайзер Стюарт Пенн. — Взяли отснятый материал с нашлемных камер, сделали пасс с ключевыми кадрами, выбрали те, что полностью совпали с игрой Марка, и „скормили“ их искусственному интеллекту, который потом „разобрал“ весь шот. Так мы получали первый пасс анимации, который можно было использовать для предварительного монтажа сцены. А дальше мы уже применяли ручную анимацию, и уже в самом конце — повторно использовали искусственный интеллект, чтобы получить микродвижения и добавить их еще одним пассом поверх ручной анимации».

Кадр из фильма «Мстители: Финал» (2019) / Фото: Marvel

Некоторые кадры вызывали особую сложность. Когда актер делает со своим лицом что-то новое и необычное, в реальности это выглядит нормально, потому что ты знаешь, что перед тобой именно он. Но на лице Халка эти движения выглядели не очень убедительно. Нужно было сохранить игру актера, но при этом сделать ее убедительной для зрителей, которые увидят только компьютерную модель, а не реального актера.

Еще бОльшую сложность вызвали сцены, которых не могло быть раньше — в этот раз Халк шутит. И его юмор тоже был новшеством и представлял сложность, ведь многое в этом случае оказывается очень тонкой работой лица, которую тоже нужно адекватно перенести на другую форму.
 

Сцена из фильма «Мстители: Финал» (2019)
 

Многоликий Танос

В прошлом году студии Digital Domain и Weta Digital установили новый стандарт в переносе игры актера на CG-персонажа, когда взяли игру Джоша Бролина в «Войне Бесконечности» и сделали Таноса — одного из самых запоминающихся кинозлодеев в истории кино. Но в этот раз у колоритного антагониста несколько ипостасей: Танос-садовник в финале его арки, Танос из прошлого, на четыре года моложе, и Танос-полководец в финальной эпической битве.
 

Еще для первого фильма обе студии создали весьма мощный пайплайн для такой работы. Но сегодня они продвинулись гораздо дальше, включив в свой инструментарий искусственный интеллект.

Weta Digital сначала переносили игру актера на подробную цифровую копию его лица, а уже потом — на самого Таноса. А вот Digital Domain решили «подружиться» с ИИ.

Как мы знаем, фильмы дилогии снимали одновременно один за другим. Поэтому и работа над эффектами для этих картин велась подряд. Digital Domain снова применили свою систему работы с лицевой анимации Masquerade — но с доработанной системой трекинга лицевой мимики. «Раньше этот процесс был ручной работой, — говорит VFX супервайзер Digital Domain Келли Порт. — Обработка одного шота занимала одну-две недели. В этот раз мы смогли воспользоваться помощью искусственного интеллекта и сократить время обработки шота до нескольких часов. Теперь процесс стал почти автоматическим, и это — огромный шаг».

Сканирование мимики для фильма «Мстители: Финал» (2019) / Фото: Marvel

На фильме «Война бесконечности» Digital Domain использовали искусственный интеллект для увеличения разрешения данных по захвату мимики на основе каждого шота, чтобы убедиться, что данные включали движения на микроуровне. В этом случае они шагнули дальше — упростили процедуры по трекингу лица. Они опирались на новый софт под названием Bulls Eye, который использует ИИ для автоматизации 3D-трекинга маркеров, захваченных нашлемной камерой. И это сократило время работы с дней на часы и позволило команде увеличить детализацию лица Таноса.
Так, анимация губ стала более подробной, поскольку на них стало больше точек управления, и аниматоры смогли добраться до микроуровня. Это в полной мере проявляется в сцене в доме Таноса, где он уже не тот агрессор, которого мы встречали раньше, а, скорее, умиротворен и расслаблен. И в тех сценах много крупных планов его лица, где новый подход к анимации деталей проявляется в полной мере.

Глубокие формы

Студия Weta Digital предпочла сначала работать с цифровым лицом актера и только потом переносить анимацию на Таноса. Это значило, что они сначала разбирали данные с нашлемных камер и убеждались, что все работает правильно. Для сравнения также использованы сканы лица Джоша Бролина, сделанные в системе Disney Research Medusa и собственные трехмерные сканы Weta Digital.

Кадр из фильма «Мстители: Финал» (2019) / Фото: Marvel

В основном Weta Digital работает с системой заранее записанных ключевых выражений лица под названием FACS. Это их основная методология. Они развивают ее со времен Голлума, на «Аватаре» и «Планете обезьян».

Команда Weta Digital усилила управление уголками рта Таноса. «Мы залатали эту проблему на „Войне Бесконечности“, — рассказывает VFX-супервайзер студии Мэтт Эйткен. — Но для следующего фильма у нас было время, чтобы вернуться и внедрить нужную опцию».

Кроме того, на втором фильме студия успела разработать и внедрить новую технологию, которую они назвали Deep Shapes («Глубокие формы»). Эта методология позволила добавить еще один слой деталей в анимацию лица. Это не симуляции, это формы-посредники, которые работают, когда лицо переходит из одного выражения в другое. Начальные и финальные точки движения не изменяются, но сам переход становится более точным с точки зрения движения лицевых тканей. Это не требует больше работы от команды моделлеров, это чисто аналитический процесс, доступный команде аниматоров по ходу работы. Теперь им не нужно все это вносить вручную. Они получают результат в реальном времени.

Кадр из фильма «Мстители: Финал» (2019) / Фото: Marvel

Эта технология позволяет учитывать инерцию лицевых тканей и их поведение без использования технологии симуляции ткани. И новая технология также позволяет полностью управлять этими промежуточными стадиями.

Weta Digital использует новую технологию в работе над следующей картиной — «Гемини», где они создают молодого Уилла Смита, и будет готова рассказать о ней подробнее, когда картина Энга Ли выйдет в прокат.
 

Обложка: кадр из фильма «Мстители: Финал» (2019) / Marvel