Термин «виртуальная реальность» часто используют применительно к самым разным системам вплоть до того, что под ним понимают интернет. Естественно, столь вольное обращение с терминологией вызывает большую путаницу. Если уточнить, то понятие «виртуальной реальности» (ВР) обозначает некий искусственный мир, сконструированный при помощи компьютерных технологий, в который человек может полностью погрузиться не только как наблюдатель, но и как участник. Системы ВР – это технические устройства, создающие иллюзию присутствия в этом искусственном мире и в ряде случаев позволяющие манипулировать его объектами.
Сам термин «виртуальная реальность» далеко не нов. Писатели-фантасты давно облюбовали эту тему и немало поспособствовали ее развитию. Появились миры Лема, Бредбери, братьев Стругацких – чем не виртуальная реальность? Правда, только в воображении читателя. Причем тут реальность? А вы вспомните, как зачитавшись любимой книгой, не замечали, как летит время, а если кто-то вас позвал, требовалось несколько секунд, чтобы вернуться к действительности. Иными словами, вы погружались в вымышленный мир. Но для его визуализации важен эффект присутствия.
По большому счету, все, что мы называем произведением искусства, есть виртуальная реальность в широком смысле. Это, прежде всего, театр, развившийся в современные интерактивные шоу с множеством сценических эффектов, включая лазерные. Это изобразительное искусство – еще художники эпохи Возрождения использовали прием прямого взгляда, когда наблюдателю казалось, что нарисованный портрет провожает его глазами. Иначе, как магией, в средние века этот эффект объяснить было невозможно. С появлением фотографии был изобретен стереоскопический фотоаппарат (между прочим, нашим соотечественником Иваном Александровским в 1854 году). Появились стереоскопы, массовое распространение получившие в середине прошлого века, – прообраз современных очков виртуальной реальности.
Зал кинотеатра «Стереокино» в Москве, где зрители смотрели стереофильмы по безочковому методу. 1947 год
Новый уровень визуализации принесло изобретение кино братьями Люмьер. Уже первый коммерческий киносеанс в подвале «Гран Кафе» на бульваре Капуцинов в Париже 28 декабря 1895 года вызвал панику зрителей при виде надвигающегося на них паровоза. Затем кино стало звуковым, цветным, широкоэкранным и стереоскопическим. В советское время в Москве и некоторых крупных городах, помимо обычных, были кинотеатры с расширенным эффектом присутствия:
Кинотеатр «Мир». Проекция велась с трех кинопроекторов одновременно
Круговая кинопанорама на ВДНХСейчас повсеместно имеем 3D-кинотеатры.
В 1962 году Мортон Хайлиг (Morton Heilig) в США получил патент на чудо техники под названием сенсорама.
Сенсорама
Он был кинематографистом и ставил своей целью расширить до предела рамки кино: добавить к изображению и звуку вкус, осязание и запахи. Сенсорама, фактически, представляла собой аналоговый симулятор. Заплатив 25 центов и усевшись на подвижное сиденье, зритель мог посмотреть один из пяти двухминутных фильмов. Помимо цветного широкоэкранного стереоизображения и стереозвука, такие короткометражные ленты, среди которых были, например, демонстрации поездки по Нью-Йорку на мотоцикле или полета на вертолете, включали в себя и ощущения движения с вибрацией, поворотами головы и сиденья, использование различных ароматов, ветер, дующий в лицо. В наши дни появились аттракционы и кинотеатры 4D, 5D, даже 7D с подвижными сидениями, горячим и холодным ветром, брызгами, запахами и так далее.
Но все, о чем говорилось выше, страдает существенным недостатком – отсутствием интерактивности. Зритель пассивен, вынужден следовать сценарию и максимум, что может сделать, это прервать сеанс. В 90-е годы прошлого века была весьма популярна компьютерная игра King’s Bounty. Игрок управлял одним персонажем (класс которого выбирался из четырех предложенных) и мог открывать карту в любом направлении, выполнять задания, собирать артефакты в произвольной последовательности, то есть действовать самостоятельно. Виртуальная среда без свободы выбора в искусственном мире обобщается понятием 3D. Вот основные составляющие современной виртуальной реальности: погружение (интересный сюжет), эффект присутствия (визуализация) и интерактивность (свобода выбора развития сюжета).
Компьютерная игра King’s Bounty
Такие возможности предоставляют ВР-системы: самому включиться в действие, причем не только в фантастическом пространстве, но и как бы во вполне реальном мире, во всяком случае с точки зрения восприятия человека. Все это, судя по всему, и предопределило бум новых информационных технологий и, соответственно, их быстрое развитие. Помимо индустрии игр и развлечений, системы виртуальной реальности все больше проникают в сферу бизнеса. Они широко применяются для решения практических задач, включая моделирование хирургических операций, разработку прототипов автомобилей, техническое обслуживание и установку оборудования, оптимизацию логистических операций, визуализацию бизнес-данных, проведение военных учений, тренировку пилотов и т.д. Замещение физических объектов цифровыми моделями позволяет значительно сократить временные и денежные затраты.
Саймон Гантлетт (Simon Gauntlett, DTG) недавно сделал для семинара Европейского вещательного союза по технологиям производства обзорную презентацию о виртуальной реальности. Он посчитал необходимым объяснить, почему разработкой виртуальной реальности придется заняться всерьез. В качестве первого доказательства он приводит широкий ассортимент камер и очков, появившихся за последние несколько месяцев. Вторым доказательством служат мнения аналитиков, оценивающих рынок виртуальной реальности в сумму около 120 миллиардов долларов США в перспективе до 2020 года. По большей части в игровой индустрии, но кто знает, как разработчики игр и вещатели будут дальше взаимодействовать. Третьим аргументом стало увеличивающееся число компаний и организаций, вовлеченных в рынок виртуальной реальности. Главными проблемами в настоящее время остаются совместимость и отсутствие устоявшейся терминологии.
Существует несколько основных типов систем, обеспечивающих формирование виртуальной реальности:
1. Шлем/очки виртуальной реальности (HMD – Head mounted display). Современные шлемы виртуальной реальности представляют собой скорее очки, нежели шлем, и содержат один или несколько дисплеев, а в простейшем случае вместо дисплея вкладывается смартфон. На экраны выводятся изображения для левого и правого глаза. В «продвинутых» шлемах (очках) для корректировки геометрии применяется система линз, а также система трекинга, отслеживающая ориентацию устройства в пространстве. Многоканальная акустическая система позволяет производить локализацию источника звука, что помогает пользователю ориентироваться в виртуальном мире с помощью слуха. Шлем может быть дополнен интерактивными перчатками и костюмом, в которые встроены датчики, передающие на компьютер информацию о движениях пользователя.
Шлем/очки виртуальной реальности (HMD – Head mounted display)
2. Системы отслеживания движений головы. Как правило, системы трекинга для виртуальной реальности разрабатываются на основе гироскопов, акселерометров и магнитометров. Для систем этого типа важны: широкий угол обзора, точность работы трекинга при отслеживании наклонов и поворотов головы, а также минимальная задержка между детектированием изменения положения головы в пространстве и выводом на дисплеи соответствующего изображения.
Системы отслеживания движений головы
3. Окулография (Eye tracking или айтрекинг). Системы отслеживания движения глаз наблюдают перемещение зрачков и в каждый момент времени могут вычислить, куда именно смотрит человек. При изменении положения глаз пользователя относительно дисплеев, изображение на них соответствующим образом меняется. Системы айтрекинга определяют координаты глаз в пространстве. Для этого применяются различные технологии: оптическая (определение координат глаз на изображении с камеры, отслеживание активных или пассивных маркеров), существенно реже – ультразвуковая. Данные системы активно реализуются в маркетинговых, военных, научных и других целях.
Окулография (Eye tracking или айтрекинг)
4. Системы отслеживания движений тела человека (Motion capture). Управляемый персонаж в виртуальном мире обычно повторяет эти движения. Существует два основных подхода. Первый – на человека крепится большое количество датчиков, и компьютер отслеживает движение этих датчиков в пространстве. Технология широко используется для съемки фильмов, где актер играет компьютерного или комиксного персонажа, для создания 3D игр и т.п. Главное средство взаимодействия с окружающим миром для людей – это руки. Поэтому идея создания «виртуальной руки» существует уже очень давно. Для этого предлагается использовать специальные перчатки, отслеживающее движение кистей рук и пальцев. Другой подход основан на распознавании образов. Если сказать проще, то человека снимает специальная видеокамера и определяет, что он сделал: махнул или, например, подпрыгнул.
Системы отслеживания движений тела человека (Motion capture)
5. Имитаторы – симуляторы реальности. Различного вида тренажеры, прообразом которых являлась та же сенсорама, но с обратной связью. Применяются для обучения вождению от автомобиля до самолета, а также в различных аттракционах типа виртуальных американских горок или переворачивающегося домика. В простейшем случае могут использоваться шлемы/очки с подвижным сидением и дополнительными органами управления. Для виртуального вождения лучше подходит имитация кабины автомобиля/танка/самолета и т.п. с дисплеями вместо окон.
Имитаторы – симуляторы реальности
6. На данный момент самыми совершенными системами виртуальной реальности являются проекционные системы, выполненные в компоновке комнаты виртуальной реальности (CAVE). Такая система представляет собой помещение, на все стены которого проецируется стереоизображение. Положение пользователя, повороты его головы, направление взгляда отслеживаются вышеописанными трекинговыми системами, что позволяет добиться максимального эффекта погружения.
Комнаты виртуальной реальности (CAVE)
7. Виртуальный ретинальный монитор (VRD, Virtual retinal display) — устройство вывода, формирующее изображение непосредственно на сетчатке глаза. Пользователь помещает аппарат перед собой, система обнаруживает глаз и проецирует на него картинку, используя методы компенсации движения. В результате вы видите изображение, «висящее» в воздухе. Устройства данного типа ближе к системам дополненной реальности, поскольку виртуальные объекты, которые видит пользователь, накладываются на объекты реального мира. В таком виде небольшое VRD-устройство могло бы заменить полноразмерный монитор. VRD, проецирующий изображение на один глаз, позволяет видеть одновременно компьютерный и реальный мир, что может применяться для создания иллюзии «рентгеновского зрения» — отображения внутренних частей устройств и органов (при ремонте автомобиля, хирургии). Система VRD, проецирующая изображение на оба глаза, позволяет создавать реалистичные трехмерные сцены. VRD поддерживает динамическую перефокусировку, что обеспечивает более высокий уровень реализма, чем у классических шлемов виртуальной реальности.
Сегодня математические модели, программное обеспечение и графические подсистемы виртуальной реальности достаточно развиты и доступны для массового применения. Такие технологии в различных формах прочно входят в нашу жизнь. Прогресс в этой области движется достаточно быстро. Обещает ли обилие перспективных технологий прекрасное будущее?
Выступление Марка Цукерберга на презентации смартфонов Samsung Galaxy S7 и S7 Edge. Виртуальная реальность в действии
Вернемся к тому, с чего начали, и обозначим риски массового внедрения систем ВР:
- Физические – у некоторых людей появляется тошнота, сильное головокружение вплоть до потери сознания.
- Информационной безопасности – к примеру, если пользователи могут менять внешний вид своих аватаров, они потенциально могут выдавать себя за других людей.
- Поведенческие – например, некоторые игровые (и не только) ситуации могут вызывать нешуточную агрессию отдельных индивидуумов.
- Конфиденциальные – виртуальная среда может резко расширить масштабы возможных нарушений неприкосновенности, потому что каждое поведение можно отследить, а каждый элемент — изменить.
- Финансовые – затратив немалые средства, вы можете получить совсем не то, на что рассчитывали.
Так что есть еще, над чем работать. Расширенная дискуссия и обсуждение проблем виртуальной реальности, разработка терминологии и выработка рекомендаций ожидаются в апреле текущего года на NAB-Show 2016 в Лас-Вегасе.