«Нейросети вытеснят из киноиндустрии как минимум половину профессий»

— Нас с Ильей Лагутенко в Лос-Анжелесе познакомил Александр Незлобин. Илья обратился ко мне по поводу клипа, и мы долго обсуждали, что же можно сделать. В прошлом мае я засел за сценарий, накидал идеи, от которых можно было оттолкнуться. «Мумий Тролль» прислали три песни, и я остановился на той, вокруг которой можно было быстрее всего развить какую-то историю. Мне хотелось, чтобы клип на «Милоту» был идеальной иллюстрацией музыки, чтобы все было идеально в бит, чтобы действие было музыкальной визуализацией.

Также для меня было важно сохранить стилистику «Мумий Тролля». Я пересмотрел всех их клипы, концерты, и понял, что лейтмотивом может служить склонность к странным образам и символизму. Отталкиваясь от этого, я решил, что сюжет может быть галлюциногенным трипом сквозь другие миры, причем каждый следующий мир становится все страннее и страннее.

Сергей Валяев, режиссер и продюсер / Фото: Ольга Наседкина

— Расскажи о сценарии клипа и в целом о препродакшне.

— У нас был очень большой этап препродакшна. Обычно с клипами в России так никто не парится, да и я так тщательно фокусировался на подготовке, только когда делал «Хардкор».

Я решил сделать классическую трехактовую структуру, вариацию концепции мономифа, описанного Джозефом Кэмпбелом в «Тысячеликом герое». Только если в кино это растягивается на два часа экранного времени, в рамках клипа мы получили экстракт на три минуты.

Сергей Валяев, режиссер и продюсер / Фото: Ольга Наседкина

Наш герой выходит из реальности и проходит по нескольким мирам, в которых встречает старца-проводника, препятствия и антагонистов. При этом путешествие происходит как бы внутри самого героя и сталкивается он с самим собой. Простая структура, построенная на основе архетипов, позволяет быстрее и комфортнее считывать происходящее на экране безумие.

Я взял трек, разбил его на части, где происходят какие-то изменения, и выделил двенадцать часов путешествия героя. Это позволило мне понять, где находятся склейки. А дальше я буквально по миллисекундам расписал весь сценарий. Результат получился довольно большой — двенадцать страниц текста мелким шрифтом, перемешанным с картинками.
 

Клип группы «Мумий Тролль» «Милота» 

Идея клипа получилась непростая, ее пришлось внятно объяснить большой группе людей. Я выбрал максимально репрезентативную манеру — большую и красочную презентацию, с референсами и четким указанием, в какую секунду и что происходит.

Вместе с художником-постановщиком Глебом Резниченко мы создали раскадровку всего клипа. На ее основе я смонтировал аниматик с референсными роликами. По сути, я полностью смонтировал весь клип еще до того момента, как снял первый кадр. Такой подход позволил не только аргументировано отстаивать свою позицию в общении с менеджментом группы, но и увлечь съемочную группу проектом. К сожалению, в России не очень принято внимательно читать сценарии, но видеоролики и презентации люди смотрят более осознанно.

— Поговорим о главной «фишке» клипа — нейросетях. Как возникла идея их использовать и в чем специфика их применения в формате музыкального видео?

— Изначальная идея состояла в том, что это будет мультик. Главным референсом было «Пробуждение жизни» Ричарда Линклейтера. Только если Линклейтер в 2000 году на постпродакшн потратил год с огромной командой, которая покадрово ротоскопировала отснятый материал, то сейчас нечто подобное можно делать намного быстрее. В основном мы использовали технологию style transfer, когда стиль одного изображения при помощи нейросетевого алгоритма переносится на стиль другого. По этому принципу построены развлекательные приложения, вроде Artisto, Prisma, Banuba, Vinci.
 

Тестовые съемки кадра из клипа «Милота»

Где-то год назад я ездил в Нью-Йорк, поснимал там паркур. Потом связался с ребятами из Artisto и попросил обработать несколько кадров. Получился референс, который я показывал Илье Лагутенко. Мне хотелось развить эту тему с перерисовкой в клип, и «Мумий Тролль» меня поддержали.

Сергей Валяев, режиссер и продюсер / Фото: Ольга Наседкина

Я придумал пять миров, в каждом из которых должна была быть своя рисовка. На каждую я подобрал референс и обратился к команде программистов, которая с нуля должна была разработать перенос уникального стиля. Месяца два ребята писали, но все выглядело плохо. Я понял, что разрабатывать собственные стили — тупиковый путь, потому что у меня не было доступа к специалистам, достаточно заинтересованных в этом, и достаточного бюджета на эксперименты.

Тогда я обратился к Олегу Илларионову, разработчику Vinci. Он дал мне доступ к серверу, куда можно было загрузить видеофайлы и на выходе получить обработку в фильтрах Vinci. Но выяснилось, что далеко не все изображения могут нормально переноситься. Например, в некоторых стилях красиво переносится рисовка изображения, но цвета становятся ужасными. Другие делают интересные цвета, но ужасную рисовку.
 

Тестовые съемки кадра из клипа «Милота»

Из-за этого нам пришлось пройти через безумный пайплайн работы. Мы снимали сцену, моделили трехмерный мир, генерировали частицы, композили, цветкорили, потому что перед прогоном алгоритма требовалась определенная констрастность и определенный набор цветов, и только потом прогоняли итог через нейросети. Результат мы смешивали с оригинальным изображением и опять цветкорили. Получался слоеный пирог из трех-четырех версий обработки одной и той же сцены.
 

Создание графики для клипа «Милота»

— Помимо названных тобой приложений клип вызывает ассоциации с компьютерной игрой — это сознательное решение?

— Да, я большой фанат компьютерных игр, и в целом могу сказать, что они на меня оказали большее влияние, чем кинематограф. Кроме того в процессе подготовки я понял, что Илья Лагутенко не сможет играть главного героя все съемки. Илья мог быть доступен на один, максимум — два съемочных дня. Мне нужно было выдумать такой подход, который бы в ограниченных условиях, без участия Лагутенко, позволил провести героя через всю историю. Манера движения камеры в стиле компьютерных игр позволяет легко маскировать дублеров. Большую часть клипа мы видим героя со спины, или его глазами от первого лица, или общим планом сбоку. Камера линейна, имеет простой характер движения — всегда направляется прямо. Основным дублером выступил каскадер Илья Поздняков, но в общей сложности дублеров было семь человек.

Сергей Валяев, режиссер и продюсер / Фото: Ольга Наседкина

— В какие сроки уложились съемки?

— Восемь с половиной съемочных дней, что довольно много для клипа. Съемки были сложными. Во-первых, большая часть группы, несмотря на аниматики и презентации, не очень осознавала, что именно мы снимаем. Во-вторых, в сценарии много опасных трюков, потребовавших подготовки и дублей.

На съемках клипа группы «Мумий Тролль» «Милота» / Фото: предоставлено Сергеем Валяевым

— Трюки в клипе начинаются с первых кадров. Расскажи об открывающей сцене, в которой трюк выполняет сам Лагутенко.

— Идея с вращением лидера группы, сходящего со сцены, мне пришла давно, и я все думал, кому бы ее предложить. Сцена снималась вживую, в «Мумий Тролль Баре». Подготовку этого трюка, как и всех остальных, мы начали вместе с постановщиком трюков Михаилом Бельским за много месяцев до съемок.

Использовалось специальное устройство для вращения человека. У каскадеров был гимбл с колесной базой, на которую установлен штифт с рулем, зажимом для торса и жилетом. Но гимбл был слишком большой, так что нам пришлось строить укороченную колесную базу. Крутить конструкцию было физически тяжело. Каскадеры, несмотря на физическую подготовку, быстро уставали, что сказывалось на плавности вращения. А еще Илье было непросто висеть вниз головой. Так что у меня было ограниченное количество дублей.

Устройство для вращения человека / Фото: предоставлено Сергеем Валяевым

Единственное ЧП за все съемки произошло именно в этот день. Во время репетиционного прогона переломилась главная ось устройства. Нам космически повезло, что это была репетиция, и в этот момент пристегнут был каскадер, а не Лагутенко. К тому же дублер был в момент перелома не вниз головой, так что он просто прыгнул на ноги и даже спас камеру.
 

Тест трюка для клипа «Милота»

Кстати, это была единственная смена, которую мы закончили снимать с переработкой где-то на час. В остальном смены мы заканчивали снимать раньше времени из-за планирования на препродакшене.

— Какие еще сцены дались непросто?

Сергей Валяев, режиссер и продюсер / Фото: Ольга Наседкина

— Та, где главный герой должен был прыгнуть на трос, сделать сальто и в полете ударить рыцаря. Для начала нужно было построить декорации в виде кубов разной высоты, между которыми мы натянули трос. Главная задача, которую я поставил постановщику трюков — добиться максимальной синхронизации движений героев и музыки. Автоматизированных систем у нас не было, поэтому мы задействовали группу из восьми каскадеров, дергавших за тросы, что помогало правильно прыгать дублеру. Но самым большим испытанием эта сцена стала для рыцаря. Латы были хоть и декоративные, но настоящие. Металл надевался на тканевую подкладку. Далее каскадер на протяжении нескольких часов стоял под очень теплыми спейс-лайтами и двигался, отыгрывая падение. Я никогда не видел, чтобы человек так потел — где-то дубле на тридцатом парень снял шлем, и из него вылился стакан пота. Тогда я понял, что больше снимать нельзя, иначе я убью человека.

Сцену с котенком мы снимали всего минут двадцать. Каскадеру Илье нужно было пройти мимо бутафорских кустов. В определенный момент по композиции он должен был отойти в сторону, чтобы камера не увидела его лицо. Потом должен был подойти Лагутенко в образе старца и поднести котенка, который должен был посмотреть точно в камеру. Все это на сверхширокоугольной оптике, то есть нам буквально нужно было тыкать камеру в морду котенку. Вроде бы звучит просто, но из-за животного в кадре это казалось сложно. В итоге нам безумно повезло — котенок не просто посмотрел в камеру, но еще и подмигнул.

— Помимо котенка в клипе есть крыса. С ней сцена была сложной?

Сергей Валяев, режиссер и продюсер / Фото: Ольга Наседкина

— Это не крыса, это дегу, чилийская белка. Когда я писал сценарий, мне нужен был нестандартный, запоминающийся враг-босс. Я думал об архетипичных человеческих образах, о насекомых и животных, и в какой-то момент решил оттолкнуться от своих ассоциаций с образом муми-троллей. Я вспомнил, что на этих сказочных персонажей похожи дегу — они имеют похожую форму тела и кисточку на хвосте.

Прикинув аренду дегу и сложность предстоящих съемок, я решил, что проще будет купить животное, самому его выдрессировать и в свободной обстановке отснять дома. Правда, пришлось купить двух дегу, потому что поодиночке они чахнут. Впрочем, съемкам это помогло — животные моментально уставали, а так я мог их менять. На три кадра с белками я потратил пару дней.

На съемках клипа группы «Мумий Тролль» «Милота» / Фото: предоставлено Сергеем Валяевым

Мне нужен был объектив с определенными характеристиками: широкоугольная оптика, позволяющая маленький объект изобразить большим, и при этом с возможностью фокусироваться на очень близком от объекта расстоянии. Такой оптики в России не оказалось — у нас острый дефицит сверхширокоугольной макро-оптики. Можно было использовать переходники, но конструкция выходила слишком громоздкой, что превратило бы съемки дегу в пытку. Я нашел в Китае нестандартный объектив Laowa 15-мм MACRO. Именно он и позволил добиться нужного эффекта и правильных дисторсий.

— А камеру ты какую использовал? Постобработка требовала чего-то конкретного?

— Клип снимался на разные камеры. У нас же клип вышел в стиле попурри из разных камер. Оператор Максим Кленов, который снимал сцену в клубе, единственную без перерисовки, и сцены с хромакеем, остановил выбор на ALEXA XT и ALEXA Mini.

На съемках клипа группы «Мумий Тролль» «Милота» / Фото: предоставлено Сергеем Валяевым

Все остальное я снимал сам на более простые камеры GH4 и GH5. Один кадр и вовсе был снят на GoPro, потому что на морозе остальные камеры быстро разрядились. Кадры с дегу и всю сцену от первого лица я снимал при помощи Panasonic EVA1. Это потрясающая камера, на которую я вполне мог снять весь клип, если бы она вышла несколькими месяцами ранее.

На съемках клипа группы «Мумий Тролль» «Милота» / Фото: предоставлено Сергеем Валяевым

Cцены с коптером мы снимали вместе с оператором Георгием Тарасовым, используя потребительский дрон DJI Mavic. У нас не было разрешений на съемки и все пробеги мы снимали guerrilla style. С большим дроном мы бы не сняли подобного.

Все изображение перерисовывалось, а раз так, то, кроме начальных сцен и хромакея не было значения, какое качество картинки будет на входе. Но главная причина разброса — экономия средств.

— Какая команда работала над визуальными эффектами?

— Я обошел несколько студий визуальных эффектов. Мне требовались очень простые решения для четко поставленных задач, но везде мне предлагали максимально сложные, намекая на смену концепции и увеличение бюджета.

Сергей Валяев, режиссер и продюсер / Фото: Ольга Наседкина

В итоге вместе с арт-директором Дмитрием Журавлевым мы решили сформировать команду под проект с нуля. Это позволило сохранить контроль над производственными моментами, исключить посредников и уложиться в бюджет. Я осознавал, что мы можем идти по пути упрощения во многих сценах, благодаря технике перерисовки, но мы все равно столкнулись с рядом производственных сложностей.

Пример — сцена с отращиванием бороды. Художник-трехмерщик Элвис Гинцяк предложил не отращивать бороду при помощи композинга, помноженного на симуляцию волос, как это делали студии. Вместо этого он придумал прилепить Илье накладную бороду, стричь ее этапами, а потом запустить сцену в обратную сторону. Это было просто, дешево, зрелищно, а потому гениально.

Кадр из клипа группы «Мумий Тролль» «Милота» / Фото: предоставлено Сергеем Валяевым

Почти все, что вы видите в клипе, сделано в технике реалистичного 3D. Мы не использовали мэтпеинтеров и все детали моделировали в 3D. Все 3D-объекты в клипе авторские, мы не использовали готовых решений и стоковых моделей. Трехмерные сцены позволяли легко перерендерить нужные куски и тонко настроить виртуальные камеры. Кроме того, имея большое количество проработанного авторского контента, мы можем создать для «Мумий Тролля» визуализации для концертов и мерча.

— Клипы часто становятся экспериментальной платформой для кино. Какие перспективы есть у применения нейросетей в киноиндустрии?

Сергей Валяев, режиссер и продюсер / Фото: Ольга Наседкина

— Нейронные сети сейчас находятся в зачаточном состоянии, но очевидно, что в ближайшее время они перевернут индустрию. Клип обрабатывался в офисе «ВКонтакте». Стайл-трансфера изображения я ждал по три минуты — это очень быстро. Дальше те же технологии будут использоваться для вырезания объекта от фона, а значит все ротоскоперы потеряют работу. Также нейросети будут использоваться для композа. Нейросети будут собирать изображение, как человек, а может даже и лучше, да еще и бесплатно. Проблема только в том, что не всегда люди в индустрии понимают это. Кто-то сказал, что нейросети можно использовать для стайл-трансфера. Это хайпануло, люди поигрались и забыли. Но технология никуда не ушла. Сейчас становится понятно, что в первую очередь это нужно профессионалам. Поэтому скоро это все вернется в виде плагинов для Adobe After Effects, Adobe Premiere, Nuke и так далее. Боюсь это представить, но, думаю, нейросети вытеснят из индустрии как минимум половину профессий.
 

Обложка: Сергей Валяев, режиссер и продюсер / Фото: Ольга Наседкина