Стандартизация хранения
Новый стандарт SMPTE ST 2034-1-2017 Archive eXchange Format (AXF) представил Олег Березин, председатель российской секции SMPTE.
— Появляются новые технологии, вещание мигрирует в область IT-инфраструктуры, дистрибуция фильмов в кинотеатры осуществляется в цифровом виде, развиваются проекты виртуальной и дополненной реальности, повышается иммерсивность, благодаря HDR, HFR, HSR (4K/8K), WCG, IMM SOUND. Общество инженеров кино и телевидения SMPTE пытается опережать развитие этих технологий если не на шаг, то хотя бы на полшага.
Олег Березин, председатель российской секции SMPTE / Фото: Виктор Вытольский
Открытая библиотека нормативных документов SMPTE содержит более 800 стандартов, рекомендованных практик и инженерных руководств по всем разделам кино и телевидения. Российская секция также занимается адаптацией международных стандартов и внедрением их в российскую практику.
Стандарт AXF устанавливает нормы действий (но не методов!), связанных с сохранением цифрового контента. У него несколько функций.
- Он предоставляет основу для понимания сути, терминологии и понятий архивного сохранения.
- Он описывает стратегии долгосрочного хранения и сохранения на понятном языке.
- Обеспечивает идентификацию всех стандартов «Открытых архивных информационных систем» (OAIS).
OAIS — открытая информационная система
В OAIS производитель поставляет информационный пакет данных SIP. Система преобразует его в архивный инфопакет AIP. А потребитель по условиям доступа получает распространяемый для него пакет данных DIP.
AIP — архивный инфопакет
Архивный инфопакет состоит из, собственно, содержания, представления о нем (например, метаданных) и описательной части сохранения информации, которая базируется на четырех подчастях:
- идентификатор (reference);
- история происхождения (provenance);
- контекст, то есть что, где и когда (context);
- зашита (fixity).
Стандарт AXF также описывает «идеальный формат архивного хранения» и предполагает свободное перемещение материалов между различными системами без потерь.
Олег Березин, председатель российской секции SMPTE / Фото: Виктор Вытольский
AXF — открытый формат, благодаря которому системы хранения данных остаются совместимыми, гарантирующий долговременный доступ к данным, вне зависимости от развития технологий хранения, файловых систем и носителей.
Фильм-сканеры и их характеристики
Обзор современного модельного ряда архивных фильм-сканеров провел Вадим Яшувов из JC Group.
— Архивные пленки налагают определенные требования к сканерам. Эти требования не столько технического характера — по разрешению, глубине цвета и динамическому диапазону — сколько по механическим возможностям сканеров в работе с поврежденными или хрупкими материалами. Есть механизмы, которые позволяют работать без механического контакта, без грейфера, но здесь необходима оптическая стабилизация.
В связи с изменением размера кадров за время хранения данных, может понадобиться сканирование не только кадров, но и всей пленки, включая перфорацию, для сохранения информации и метаданных.
Вадим Яшубов / Фото: Виктор Вытольский
Есть архивные материалы, записанные 50-60 лет назад. В то время пленка была другого качества — очень толстая, иногда склеивалась внахлест. В таких случаях сканер должен давать пленке проходить через тракт устройства.
Есть и старые нитропленки, которые могут загореться. Скорость самовозгорания при этом достигает детонационной, так что механизмы должны быть нежными. В помещении можно работать только с одной такой пленкой.
Устранение повреждений достигается либо физическим методом в фильмовом канале, либо с помощью герметичных конструкций с повышенным давлением. Реставрация идет в процессе копирования информации с помощью программного обеспечения разных производителей.
Все перечисленные требования очень важны. Современное оборудование обеспечивает их на 95%. Весь модельный ряд сканеров для архивной работы сейчас практически одинаков, у каждой модели есть свои плюсы и минусы. По отношению к другим выделяется Blackmagic Cintel: оборудование этого производителя в пять раз дешевле аналогичных моделей других компаний. На этом сканере можно обрабатывать только нормальные пленки без нахлестов и без повреждений, но что-то можно скорректировать за счет восстановления оптически сканированного кадра, включая перфорацию.
Blackmagic Cintel Scanner / Фото: Blackmagic
Разница между методами существенна — что-то можно делать за счет ПО, а что-то — корректировать на этапе сканирования, чтобы свести повреждения пленки к минимальным. Для совсем экстремальных случаев есть методы рентгеновского сканирования с трехмерным восстановлением слоев. Конечно, для какого-то серьезного архивного хранилища лучше комбинировать набор сканеров.
Решения для долговременного хранения
Эволюцию систем хранения данных развил Сергей Платонов из Raidix.
— Что нужно делать, когда идет речь о долговременном хранении данных? В первую очередь, необходимо соответствовать регламентам, как внешним, так и внутренним. Если речь идет о вечном хранении, необходимо четко прописать время миграции данных. Лента LTO может хранить информацию 30 лет, компания Panasonic на своих накопителях на основе Blu-Ray-дисков хранит информацию 100 лет, но данным периодически приходится мигрировать, потому что меняется физическое исполнение и логический формат контейнеров. Контейнеры непрерывно развиваются, и примерно раз в 15 лет будет необходимо менять их формат.
Сергей Платонов / Фото: Виктор Вытольский
Рекомендуется хранить три копии данных в разных местах, даже в разных городах, на носителях разных технологий: например, оптическая и магнитная запись.
Компания Panasonic выпустила архивное решение на основе Blu-ray дисков. Данные хранятся в картриджах, каждый из которых содержит 12 оптических дисков объемом памяти либо 100 ГБ, либо 300 ГБ. Суммарно получается чуть меньше 3 ТБ, а в стойке — около 1,5 Пб. Компания Raidix для этой библиотеки сделала модуль, который может писать со скоростью 40 ГБ/с, подключать несколько десятков библиотек, тем самым обеспечить достаточно быструю реакцию управления.
Принцип хранения ленточных библиотек
Об активных архивах на базе ленточных библиотек рассказал Владимир Любимченко, ProVideo Systems:
— Чтобы увеличить объем дискового массива, состоящего, например, из 16 дисков, и чтобы он при этом оставался в работе, нужно постепенно менять каждый диск, затем запустить процесс расширения и переноса данных на новый. По этому принципу необходимо заменить все 16 дисков. Учитывая, что система не должна прерываться, на это уйдет от одной до нескольких недель.
Чтобы расширить объем данных для архивов на ленточной системе, достаточно нажать кнопку и установить новые кассеты. Разработкой ПО для наших библиотек занимается компания Qstar. Оно отвечает за функцию централизации активного хранилища.
Владимир Любимченко / Фото: Виктор Вытольский
Наше пространство хранения, будь то ленточная библиотека, оптическая или даже облако — это обычная сетевая папка. По стандартным протоколам мы можем сбрасывать данные напрямую на ленту. Дисковый кэш в автоматическом режиме позволяет оставлять на дисках те оперативные данные, которые востребованы в данный момент времени, а данные, которые редко используются, прозрачно для пользователя мигрируют на ленту. При этом каждый пользователь в своем проводнике видит все файлы, даже те, которые перенесены на ленту. Чтобы достать файл из архива, пользователю нужно выбрать опцию его восстановления, и данные автоматически восстановятся.
Обложка: Flickr