Исследуя границы: 4K, HDR, HFR и человеческое зрение

Все, что написано ниже — это просто мое мнение, которое сформировалось в результате размышлений, основанных на исследовании новых технологий, а не абсолютная истина. Я буду рад, если оно изменится в будущем, поэтому с особым интересом жду ваших комментариев.
 

Еще десять лет назад не было ничего качественнее и эстетичнее 35мм пленки, и цифровые технологии стремились к ней, как к своеобразному «Святому Граалю». Цифровое кино уже давно достигло и превзошло цели, которые стояли перед ним на этапе зарождения, вплотную приблизившись к пленке как с технической, так и других точек зрения. Теперь нас больше интересуют различные аспекты цвета цифрового изображения, нежели битва пленки и цифры. Это противостояние завершилось, и люди смирились с его результатами.

Какой следующий этап развития цифрового кино? Все ли инновации в этой области действительно созданы для улучшения качества изображения, а не для развития бизнеса и продажи гаджетов и телевизоров? Боюсь, ответ неутешительный. С другой стороны, благодаря такой политике многие базовые стандарты цифрового кино наконец стали универсальными для всех производителей.
 

Если на первом этапе существования цифрового кинематографа его адепты преследовали цель догнать и перегнать 35мм пленку, то теперь это сравнительно молодое направление полностью меняет цели и средства своего развития. Сейчас перед цифровым кинематографом не стоит задача подражать технологиям прошлого, отныне перед ним открыты новые горизонты. После того, как Святой Грааль в виде пленки перестал быть ориентиром, цифровое кино несколько раз отправлялось по неверному пути, возвращалось назад и вновь искало нужное направление.

UHD, высокий динамический диапазон (HDR), высокая частота кадров (HFR), расширенная цветовая гамма — эту гремучую смесь инноваций мы наблюдаем на экранах, однако более аккуратно собранная комбинация новых технологий была бы самым оптимальным решением как для создателей контента, так и для его зрителей. То, что мы можем сделать что-то, еще не значит, что это лучшее решение проблемы. На самом деле мы еще даже полностью не осознаем ее.
 

За последние пару лет гонка разрешений наконец замедлилась. Мы прекрасно знаем, что формат 4K здесь надолго, однако также ясно, что рано или поздно настанет эпоха разрешения 8K. Тем не менее в ближайшие годы можно не ожидать, что 8K получит широкое распространение. Несмотря на это, RED (а также японская телекомпания NHK и другие ее партнеры по вещанию) сделал 8K реальностью, и у этого формата гораздо больше практической ценности, что бы ни говорили скептики.

Однако постоянное увеличение количества пикселей влечет за собой довольно большие осложнения.

Большее количество пикселей вкупе с повышенной битовой глубиной цвета влечет за собой большое количество сохраняемой информации, что напрямую отражается на требованиях к пропускной способности на локации, во время постпродакшна и доставке до конечного пользователя. И хотя гонка разрешений ставит своей целью увеличение детальности и четкости изображения, этого можно добиться намного более легкими способами.

Воспринимаемое человеком разрешение и количество пикселей — абсолютно разные вещи, которые нужно уметь различать. Единственное, что важно для зрителя — это «воспринимаемая» детализация и четкость, поэтому очень важно брать во внимание человеческий фактор, сравнивая достоинства и недостатки разных технологий. И «грубая сила» в решении этих проблем (например, увеличение количества пикселей на 400%) часто приводит к новым затруднениям.

Когда речь заходит о разрешении, люди игнорируют такую важную вещь, как обработку и восприятие подвижного изображения человеком.

Когда вы смотрите на деталь, которая занимает ваше поле зрения более чем на два градуса, глаз самостоятельно сканирует изображение, а заполняет недостающие участки. Несмотря на то, что по краям сетчатки ваше зрение обладает гораздо меньшим разрешением, мозг все равно воспроизводит изображение, основываясь на данных, который он получил, когда глаз «просканировал» пространство. Мозг запоминает все детали, на которые вы смотрите даже вскользь, благодаря чему вы в режиме реального времени знаете, что происходит вокруг.

Мозг постоянно дорабатывает изображение перед вашими глазами, и практически все, что вы видите, — это не настоящая проекция окружающего мира. Алгоритм, благодаря которому мы видим, гораздо сложнее в человеческом организме, чем у камер, которые снимают изображение при заданных настройках фокусировки, количестве пикселей и частоте кадров.

Именно из-за этого ваши глаза двигаются, когда вы читаете этот текст: для того, чтобы в полной мере увидеть содержание другой области экрана, вам нужно остановиться и передвинуть глаза. Вы в курсе, где находится текст, как он расположен в пространстве, но чтобы узнать, что в нем написано, вам необходимо рассматривать фактически каждую деталь. Движущееся изображение — это иллюзия. Это обманка, которую наш мозг воспринимает как плавно движущееся изображение. Не стоит нарушать эту иллюзию, которая в действительности очень хрупка.
 

Плотность пикселей — не единственный фактор, отвечающий за четкость изображения. С математической точки зрения для достижения четкости хватило бы простого увеличения этого параметра, однако, преодолев определенный порог, можно заметить, что эффективность данного подхода заметно снижается.

Восприятие детализации и четкости во многом зависит от контрастности. В особенности мозгу помогает повышенная контрастность по краям изображения, благодаря которой мы различаем предметы. Контрастность сильно зависит от изображения в целом и не является чем-то единым, особенно если речь идет о подвижном изображении. Особенно важна контрастность яркостей и цветов. Это одно из доказательств, почему постоянное увеличение плотности пикселей не решает проблему качества изображения, с которой можно было бы справиться, снабжая наш зрительный аппарат именно той информацией, которая ему нужна именно там, где нужно, чтобы создать желаемую иллюзию.

Это мнение Шипман-Мюллер подкрепил сравнив на откалиброванных мониторах и затемненном помещении изображения в качестве 1080p SDR и UHD HDR, а затем 1080p HDR и UHD HDR. Если разница между первой парой была очевидна, то в случае со второй точного ответа было дать нельзя. Все согласились, что 1080p HDR в сравнении с 1080p SDR дало 90% увеличения «воспринимаемой» детализации, которую можно достичь, увеличив количество пикселей в четыре раза. Огромная трата пикселей.
 

Дело в том, что и движущиеся объекты в некоторых кадрах выбиваются из общего потока информации из-за слишком яркого изображения или повышенной контрастности по краям. HDR усугубляет это из-за яркости соответствующих дисплеев, но факторы, влияющие на дрожание, сводятся к следующему:

Человеческий глаз пропускает через себя непрерывный поток информации. Именно поэтому мы не видим определенное количество кадров в отдельный отрезок времени. Однако если большое количество статичных кадров будут быстро сменять друг друга, то изображение станет подвижным — это называют инерцией зрительного восприятия, поскольку сетчатка обрабатывает изображение в течение примерно сорока миллисекунд.

Стандарт 24 кадров в секунду появился потому, что с появлением звука в кино эта частота стала минимальной для восприятия плавного изображения и звукового сопровождения вместе: этого было достаточно для поддержания иллюзии, а также незатратно для производства.

Этот стандарт до сих пор воспринимается «кинематографично» из-за исторического и культурного наследия. Другими словами — так было всегда. Едва заметное мелькание кадров подает зрителю сигнал, что он сейчас увидит качественный голливудский фильм с прекрасной актерской игрой и постановкой — то, что обычно отличает кинематограф от телевидения или видео.

Дэвид Финчер на съемках фильма «Социальная сеть»

После появления высокого разрешения, расширенного динамического диапазона и дисплеев повышенной яркости встал вопрос о повышенной частоте кадров, которая призвана увеличить плавность изображения за счет уменьшения «воспринимаемого» движения. Это может снизить дрожание изображения, возникающее из-за повышенной детализации, контрастности и скорости движения.
 

Ролик о технологии съемки фильма «Долгий путь Билли Линна в перерыве футбольного матча»

У повышенной частоты кадров есть и другие достоинства. Съемка при 120 fps позволяет работать с размытым изображением в процессе постпродакшена, а также такую частоту кадров можно подогнать под любые более низкие требования доставки контента.

Недостатки у технологии тоже есть. Как и в случае с разрешением, контент с повышенной частотой кадров занимает очень много места и требует значительной пропускной способности как во время съемки и обработки изображения, так и для его трансляции.
 

Здесь разрушается уже не иллюзия движущегося изображения, а ощущение мира грез, погружающего зрителя в историю, происходящую в иной реальности. Возможно, это даже более важно, чем яркие дисплеи и 4K.

С другой стороны, ко всему можно привыкнуть.

Исследование восприятия изображения человеком сразу же дает понять, что наш мозг и так обрабатывает, сжимает и фильтрует большое количество информации. Сетчатка — часть центральной нервной системы, в наших глазах расположено около 150 миллионов рецепторов и всего лишь около миллиона оптических нервных волокон. Сетчатка постоянно перекодирует (сжимает) информацию, чтобы ее мог воспринять ограниченный запас оптических нервов.

Мозг постоянно обрабатывает поток узконаправленного изображения с высокой детализацией из центральной ямки, совмещая его с широким зрительным полем с низкой детализацией, которое дополняет наша память и знания о мире, где мы живем.

Если ваши инструменты восприятия реальности, зрение и мозг, постоянно фильтруют полученную информацию, словно алгоритмы сжатия качества видео, то почему не начать использовать избирательный подход к отображению только самых важных деталей в высоком разрешении?

Вероятно, последовав по этому пути, мы лучше будем воспринимать кино, и несмотря на повышенную реалистичность и четкость изображения, нас не будет преследовать ощущение, что мы больше не в мире грез. Безусловно, 4K и 8K HDR и HFR изображение на огромном OLED-дисплее создает ощущение настоящего мира по ту сторону экрана, но этого ли мы хотим от кинематографа? Вряд ли.
 

Источник: cinema5d