Тактильный интерактивный стенд с элементами проекционной дополненной реальности

Аннотация: Работа посвящена разработке тактильной матрицы (интерактивного мультимедийного стенда), которая выполняет распознавание размещения и перемещения объектов на ней, а также динамически проецирует реакцию системы в соответствии с определенными в ней законами. Обсуждаются элементы конструкции, алгоритмы работы программных модулей системы, а также приложений: игровых, обучающих, моделирующих. 

Комплексное использование возможностей современного проекционного оборудования и различных методов компьютерного зрения позволяют создавать динамические системы и стенды, реагирующие на взаимодействие с ними пользователя.

Настоящая работа посвящена разработке тактильной матрицы (интерактивного стенда), которая выполняет распознавание размещения и перемещения объектов на ней, а также динамически проецирует реакцию системы в соответствии с определенными в ней законами.

Система имеет очень простое устройство с технической точки зрения. Она представляет собой стол с прозрачной столешницей, сеткой-матрицей, предназначенной для размещения на ней маркеров, сами маркеры, видеокамеру, расположенную под столешницей, проектор или монитор.

Программное обеспечение интерактивной матрицы представлено тремя составляющими: системой компьютерного распознавания различных маркеров и их позиций; программными приложениями, определяющими законы взаимодействия различных объектов на матрице в зависимости от их расположения друг относительно друга; компонентом, отвечающим за проецирование поведения объектов на экран. Система компьютерного распознавания реализована при помощи алгоритмов машинного обучения. Сначала находятся все клетки, в которых стоят маркеры, затем работает алгоритм (k-NN) k-nearest neighbor, который классифицирует маркеры.

В качестве программных приложений были реализованы игры: «Жизнь» с возможностью следить за развитием 4 колоний с разными геномами (использован генетический алгоритм), «Шахматы» с анализом ходов игроков, система обучения программированию детей.

Такой интерактивный стенд имеет широкий спектр применения не только в обучающих системах и играх, но для проведения и демонстрации различных экспериментов в области моделирования: например, размещение объектов в городских кварталах и их влияние на транспортную и пешеходную логистику и т. п.

Список литературы

1. Machine learning k-nearest neighbors (k-NN) algorithm [Электронный ресурс] // OpenCV 3.0.0-dev documentation – Режим доступа: https://docs.opencv.org/3.0-beta/doc/py_tutorials/py_ml/py_knn/py_knn_understanding/py_knn_understanding.html (дата обращения: 30.03.2018).
2. Белогорцев Г. Игра «Жизнь» и моделирование естественного отбора [Электронный ресурс] // Хабрахабр, 2012. Режим доступа: https://m.habrahabr.ru/post/154015/ (дата обращения: 30.03.2018).
3. Кушникренко А. Г., Рогожкина И. Б. Пиктомир: опыт обучения программированию старших дошкольников [Электронный ресурс]. Режим доступа: https://cyberleninka.ru/article/v/piktomir-opyt-obucheniya-programmirovaniyustarshih-doshkolnikov (дата обращения: 30.03.2018)

 

Материал поступил в редакцию 10.06.2018
© Абдулов А. А., Воловикова З. А., Мустакимов М. Ф., Балахчи А. Г., Веснин А. М., 2018