Проблема стандартов архивации
Об архивном хранении фильмов, киноматериалов, кинодокументов, его специфике и трудностях рассказал Дмитрий Чекалин (филиал «Научно-исследовательский кинофотоинститут» АО «ТПО „Киностудия им. М.Горького“»).
— В 2016 году Министерство культуры поручило НИКФИ заняться цифровой архивацией. Выяснилось, что практически для всех ее этапов (а это, как минимум, контроль и приемка материалов при входе в архив, их перезапись на цифровые носители, контроль в процессе хранения и возможность раскодирования в различные форматы) нет ни одного приемлемого решения. В результате мы создали пятилетнюю программу и составили план в виде таблицы, где каждая строчка — это вид работ. Эта таблица занимает восемь страниц.
Дмитрий Чекалин / Фото: Виктор Вытольский
Один из способов хранения, предложенный достаточно давно, — это печать цифровых записей на три цветоразделенные черно-белые кинопленки. Условия для их хранения есть, никаких дополнительных затрат не требуется. Плюс: долговременное хранение, минимум 100 лет. Минус: малейшее изменение контрастности в процессе хранения — и цветовой баланс полностью уходит. Кроме того, при сканировании пленки обратно на цифровой носитель происходит потеря качества в цвете, в разрешении, в устойчивости и контрастности.
Американская киноакадемия совместно с Библиотекой Конгресса США разрабатывает программный продукт для работы с современными цифровыми материалами. Проблема заключается в том, что в кино мы не сжимаем данные, поэтому даже 2К или 4К-фильм будет занимать до 20 Тб, а если добавить все дубли и исходный материал — еще порядка 70 Тб. Сейчас же идет разработка программного обеспечения для пакетов в 100 Тб.
Фото: Samuel Zeller
Как это все работает у нас? До перестройки существовало три базовых института, которые отвечали за разработку всех технологий и регламентов. На сегодняшний день остался только Росархив, но там работают не киношники, а видеоматериал — не их основной профиль, поэтому их подходы вредят делу. Чтобы решить вопрос с хранением видео, понадобится законодательная база, потому что ГОСТы и прочие стандарты далеки от практики. Раньше все отраслевые системы были на 80% укомплектованы ГОСТами — фактически нас лишили даже того, что было.
С подачи Росархива принят закон «Об обязательном экземпляре документов», там есть несколько положений, которые до сих пор не изменены. Например, при хранении документа обязательно также иметь оригинальный носитель. Получается, что нам принесли в архив, то и должно храниться на том же самом носителе. Исходя из этого закона, в архиве должны хранить тот самый носитель и все воспроизводящее его оборудование. А часть этих материалов относится к категории вечного хранения, следовательно, встает неразрешимая проблема: во-первых, магнитный носитель вечно храниться не может, во-вторых, невозможно вечно хранить и поддерживать изначальную технологию. Наше законодательство не способствует решению данного вопроса.
Проблема практического воплощения правил архивации
— Варианты хранения, которые у нас есть, следующие:
- Краткосрочное — промежуточные материалы, которые существуют от нескольких дней до месяца. Для них не предполагается длительного хранения, проблем нет.
- Долгосрочное — от 1 года до нескольких десятков лет. Такие задачи можно решать разными путями, проблемы есть, но они решаемы.
- Постоянное или бессрочное хранение. Тут спектр проблем слишком широк и обширен, и горизонта пока не видно.
Государственное хранение регламентировано законами, их нарушение жестко карается. Часть материалов — это национальное достояние, которое потерять нельзя. Обязательный экземпляр — это образец того, что тиражируется в зоне произведений, при этом носитель должен быть идентичным тем, на которых распространяется материал. Там хранятся пленки, часть которых требуется для трансляции по ТВ. Соответственно, нужны цифровые копии. Встает вопрос: как их сканировать?
Две части 35-мм кинофильма в бюксах с заводской маркировкой / Фото: Wikimedia Commons
Еще сложнее работать с пленкой, которая разрушена и реставрации не подлежит. Есть последний шанс прокатать ее через сканер и больше этого материала нет. Возникает масса вопросов, потому что нет четкого понимания, как ее сканировать, с каким качеством и разрешением. Например, есть оптическая фонограмма, которую можно перегнать в цифру, но нужно ли сохранять саму оптическую дорожку? Такие же вопросы возникают про перфорацию, потому что там информация и метаданные. Все эти вопросы не регламентированы, и каждый решает их самостоятельно.
Кинодокумент имеет такое же значение, как и бумажный, он должен быть подлинным. Является ли копия с кинодокумента подлинником? Это вопрос достаточно сложный с юридической точки зрения, при этом, если мы делаем копию или приносим цифровой киноматериал, что хранить?
Дмитрий Чекалин / Фото: Виктор Вытольский
Самое сложное — это большие фильмы, в том числе художественные. Здесь возникает проблема еще интереснее. Понятно, что такое комплект исходных материалов для пленочного фильма — это негативы, позитивы, световой паспорт, различные варианты фонограмм: сведенные, несведенные, на пленке, на магните — огромный массив данных. По поводу исходных материалов цифрового фильма не сказано ничего. Что входит в их число — непонятно. На практике киностудия снимает цифровой фильм, а для архива его перепечатывают на пленку и отправляют на хранение, при этом, помимо качества, теряются все промежуточные материалы, возможность его перемонтажа и так далее. С этим нужно что-то делать, но на данный момент нужно делать пленочную копию, потому что она дает определенные гарантии хранения. И все же имеет смысл хранить данные и в цифровом варианте.
Проблема развития технологий производства
— Мы можем рассмотреть более широкий вариант цифрового кинопроизводства — создание цифровых моделей в различных программах. В частности, мультипликация — это целиком цифровая современная среда, в которой происходит рендеринг, а основа кинопроизводства здесь — 3D-модели. То же самое со звуком. Надо ли хранить эти модели? Если надо, то что, как и зачем?
Допустим, в будущем захочется сделать ремастеринг. Или снимать продолжение фильма. Тогда все модели, которые создают декорации и персонажей, можно использовать во второй серии. Если появится голографическое ТВ, то переводить туда 2К будет странно, а из трехмерной модели можно создать голографическое качество, поэтому вопрос моделей вполне оправдан.
Дмитрий Чекалин / Фото: Виктор Вытольский
Понятно, что с цифрой можно прийти к концепции хранения непосредственно информации. Ясно, что носители со временем будут меняться. Мы можем предсказать ход этого процесса в течение ближайших 10 лет. Расчет развития ситуации на 50 лет вперед невозможен, поэтому имеет смысл создать автоматизированную систему архивов, к которой можно будет безболезненно подключать новые органичные системы, чтобы по мере износа старых решений информация плавно перетекала в новые. Таким образом, получится саморазвивающаяся структура, максимально адаптированная к внешним условиям.
Должна быть разработана целая серия стандартов. На сегодня выпущена первая часть семейства стандартов AXF (формат архивирования и обмена) ST 2034-1. Дальше последует вторая часть, она разрабатывается с 2015 года. По оценкам самих разработчиков, прогресс достигнут на 30%.
Выбор подходящего носителя
Дмитрий Алексеев из Fujifilm рассказал о способах организации долгосрочного хранения цифровых архивных материалов.
— Хранению подлежат не только «бриллианты» архивных материалов, но и вся окружающая их инфраструктура. Объем хранимой информации довольно значительный — могут понадобиться до 80% всех данных. Что делать с этим информационным объемом, мало кто представляет.
Дмитрий Алексеев / Фото: Виктор Вытольский
Современное ПО можно использовать с разными носителями, но структуру, расходы и все остальное определяет именно физический уровень хранения информации.
На этом уровне у нас есть три варианта носителей — диски в любых их видах, твердотельная память или магнитная лента.
HDD — жесткие диски когда-то были хороши для хранения, но сейчас эта технология уходит в обслуживающую сферу. Появилась потребность в более емких и скоростных носителях, а предельная физическая плотность размещения информации на жестких дисках уже достигнута. Диски еще нужны, но им на смену приходит SSD — твердотельная память. В скором времени эта технология заменит оперативное хранение.
Ленточный носитель — это базовый полимер с магнитными частицами, на которые производится запись. Чтобы запись была емкой и быстрой, магнитные частицы должны быть, с одной стороны, как можно меньше, с другой — плотно прилегать друг к другу. Раньше для записи на ленту использовались металлопорошковые частицы. У них демагнитизация и поляризация направлены по горизонтали, соответственно, при попытке поставить эти частички близко друг к другу, начинается отталкивание. Отталкивание порождает шумовое загрязнение — возрастает вероятность ошибки и погрешности.
Дмитрий Алексеев / Фото: Виктор Вытольский
В основе новых ленточных технологических решений лежат частицы феррита бария. У них поляризация и демагнитизация направлены вертикально. Технология позволяет наносить на пленку очень тонкий и гладкий слой, демагнитизация в котором невелика, а отталкивания частиц не происходит. Это улучшает качество записи. Феррит бария — это оксид и не окисляется, поэтому носитель дольше сохраняет свою изначальную емкость и надежность. Гарантийный срок хранения данных на такой ленте составляет 30-40 лет.
Особенности ленточных носителей
Ленточной технологии уже много лет, но новинки в этой сфере появляются каждый год и не перестают удивлять, потому что это — самое надежное, емкое, быстрое и катастрофоустойчивое решение для длительного хранения. Ленточные системы, начиная с LTO7 — это новый продукт, который кардинально отличается от предыдущих поколений LTO.
Картриджи LTO-7 / Фото: Fujifilm
C точки зрения надежности у жесткого диска — 10-15 BER (bit error ratio — коэффициент ошибок), у картриджа LTO7 — 10-19 BER, то есть 10 000 раз меньше ошибок. На практике это означает, что возможна 1 ошибка на 20-ти SATA-дисках по 6 Тбайт, или 1 ошибка на 200-х картриджах LTO7 по 6 Тбайт.
MP — металлопорошковые частицы / BaFe — частицы феррита бария
Скорость записи современных магнитных лент намного превышает скорость записи дисковых систем: жесткий диск — 170 МБ/с, лента — 300 МБ/с. На практике часто встречаются маленькие файлы. При их записи скорость значительно падает, и диск выдает 40% от номинала, а лента — 60%. Чтобы обеспечить точно такую же скорость записи, ленточных приводов нужно задействовать в три раза меньше.
Параметр, по которым лента проигрывает дискам — скорость доступа. Ее нужно перематывать, вытаскивать и вставлять. На это уходит чуть больше 2 минут, самое долгое — 4 минуты. Где-то это критично, но это решение для архивного хранения данных, для обеспечения максимальной надежности хранения информации.
Дмитрий Алексеев / Фото: Виктор Вытольский
Емкость современной ленты позволяет разместить на 1 квадратном метре петабайт данных, при этом затраты энергии — как от лампы 100 Вт. Записывать данные на ленту напрямую нельзя, поэтому исключены и хакерские атаки.
Если рассматривать эксплуатацию, электроэнергию, подготовку помещения, охлаждение, кондиционирование, замену дисков и лицензий, а также периферию, то лента оказывается в 26 раз дешевле дисков. Залог успеха в данном случае — совмещение дисковых и ленточных технологий в той пропорции, которая необходима для конкретной задачи.
Правильная иерархическая система: сервер и модульная масштабируемая ленточная библиотека. Система наращивается быстро, и клиент сам выбирает, что ему больше нужно: больше лент или же большее количество дисков.
Обложка: pxhere.com