Иммерсивный контент: программная и аппаратная составляющая

Авторы: Воловикова Зоя Александровна, Балахчи Анна Георгиевна, Веснин Артем Михайлович

Рубрика: Технические науки

Объём: 0,11

Опубликовано в: «Наука без границ» № 7 (12), июль 2017

Библиографическое описание: Воловикова З. А., Балахчи А. Г., Веснин А. М. Иммерсивный контент, программная и аппаратная составляющая // Наука без границ. 2017. № 7 (12).

Аннотация: Обсуждены задачи, связанные с аппаратной и программной составляющей формирования иммерсивного контента с разной степенью погружения в виртуальное пространство. Рассмотрены вопросы, связанные с разработкой интерфейса-манипулятора для управления объектами в виртуальном пространстве, а также затрагиваются аспекты разработки программного обеспечения, обеспечивающего необходимый уровень погружения и интеграцию различных аппаратных частей: от манипуляторов до дисплеев.

Под иммерсивностью (погружением) понимают важное свойство технологической части среды, отражающее её возможности по вовлечению субъекта в систему отношений, определяемую содержанием среды – позволяющей человеку воспринимать себя включенным и взаимодействующим с некоторой искусственно созданной реальностью или ее отдельными частями, обеспечивающими ему непрерывный поток стимулов и опыта. Сегодня наиболее известны три смежные технологии, которые образуют реально-виртуальный континуум: виртуальная (VR), дополненная (AR) и смешанная (MR) реальность. Они отличаются между собой уровнем погружения в виртуальное пространство, реальностью отображаемых виртуальных объектов и способом взаимодействия с ними. Дополненная реальность не меняет человеческого виденья окружающего мира и его восприятия, а лишь дополняет реальный мир искусственными элементами. Смешанная реальность – в реальный мир добавляются правдоподобные искусственно-моделируемые объекты, пользователь может взаимодействовать, как с реальным миром, так и с помещенными в него виртуальными конструкциями. Виртуальная реальность полностью погружает пользователя в заранее смоделированный мир и изолирует от реального. Все эти технологии представляют интерес для проведения экспериментов, как по разработке программных приложений, так и различных устройств визуализации и управления объектами виртуальной среды. Целью данного проекта было создание программно-аппаратного комплекса для таких экспериментов.

Пришлось решать параллельно две задачи. В рамках одной из них необходимо было разработать прототип перчатки манипулятора для взаимодействия с объектами разных типов «реальностей» при условии их визуализации на экранах смартфонов, являющихся составной частью VR-гарнитуры. Собранная перчатка-манипулятор состоит из следующих основных элементов: 4-х резисторов давления с диаметром активной области 6 мм, IMU-сенсора на 10 степеней свободы, микроконтроллера, bluetooth-модуля.

Разработка программного обеспечения формирования иммерсивного контента была разделена нами на три части. Первую составил программный модуль, отвечающий за обработку информации, поступающей с датчиков устройства манипулятора и передачу ее через bluetooth на мобильное устройство. Вторая — специальное приложение Blanar, используемое для обработки bluetooth-сигналов на мобильных устройствах. Третья часть – это программное обеспечение, визуализирующие поведение объектов для разных типов «реальностей». Основу архитектуры таких приложений составляют скрипты, обеспечивающие управление виртуальными объектами в зависимости от интеграции с устройствами воспроизведения (шлемом, планшетом, смартфоном, ПК) и манипуляции (перчаткой-манипулятором, устройством распознавания жестов). Разработка приложений осуществлялась на SDK Unity, с использованием платформы Vuforia и библиотеки Fibrum. Был разработан ряд приложений, позволяющих продемонстрировать разную степень иммерсивности контента: виртуальные программные интерфейсы, игры, обучающие приложения. На основе полученных в ходе работы результатов начата работа над проектом создания виртуальной обсерватории.