Система определения источника звука, применяемая в робототехнике

Аннотация: В статье рассматривается система определения источника звука, применяемая в робототехнике, раскрываются проблемы в локализации звука и способы их преодоления, выдвигаются предположения о направлениях дальнейшего развития таких систем.

Определение источника звука в робототехнике имеет важное практическое значение, ведь именно эта способность позволяет роботу находить источник звука через анализ звуковых волн, при этом не задействуя никакие другие механизмы и алгоритмы. Умение роботом определять источник звука расширяет его возможности взаимодействия с человеком.

Целью статьи является автоматическое определение положения источника звука в пространстве, такая функциональность может быть использована в самых различных сценариях поведения робота, таких как, например, локализация роботом-официантом человека, выкрикивающего заказ, поиск роботом-спасателем потерпевшего, ориентируясь на крики о помощи, без зрительного контакта с ним. Скорость и точность работы системы определения источника звука играет первостепенное значение ввиду того, что результаты ее деятельности используются в дальнейшем в следующих подсистемах постобработки звукового сигнала: разделение источников звука, классификация источников звука, автоматическое распознавание речи.

Для локализации источника звука в двумерном пространстве система определения его источника в робототехнике обычно использует одновременно два алгоритма, которые взаимодополняют друг друга:

1. Определение направления распространения звука;

2. Оценка расстояния до источника звука.

Однако в реальной жизни ситуация осложняется тем, что в окружающей робота среде может быть гораздо больше, чем один источник звука. Поэтому системе определения источника звука важно уметь локализировать положение нескольких источников звука, которые при этом могут звучать одновременно, кроме того следует учитывать, что также, как и робот, в пространстве может изменять свое положение и источник звука.

С учетом изложенного на практике сформировались четыре наиболее известные и применяемые методологии, используемые в локализации источника звука:

1. Одномерная оценка направления распространения звуковой волны, когда все микрофоны находятся на одной плоскости и все источники звука как бы считаются находящимися в одной азимутальной плоскости с микрофонами.

2. Двумерная оценка направления распространения звуковой волны: оценивается распространение звуковой волны не только в азимутальной плоскости первого уровня микрофонов, но и в дополнительной плоскости, расположенной выше основной, при помощи расположенных там вспомогательных микрофонов, таким образом образуются две плоскости микрофонов, позволяющие определить не только сторону откуда пришел звук, но и под каким углом.

3. Многомерная оценка направления распространения звуковых волн: оцениваются и анализируются одновременно нескольких источников звуковых волн, как правило, происходит определение направления звуковых волн только в одной плоскости. Это достаточно сложная задача, поэтому она выполняется в три этапа:

а. Фильтрация звука на основании физических свойств звуковых волн;
б. Отделение полезных звуковых сигналов от шума;
в. Анализ времени появления звуковых волн в пространстве с учетом местоположения робота, кластеризация обработки результатов по каждому выделенному источнику звука.

4. Оценка расстояния до источника звуковой волны: определяется только расстояние от источника звуковой волны до микрофона, установленного на робоплатформе, без учета направления, откуда пришла звуковая волна.

За последние три десятилетия был достигнут значительный прогресс в области качества определения источника звука, повысилась надежность результатов, были решены проблемы шума и реверберации, которые пятьдесят лет назад казались неразрешимыми. Методы оценки и отслеживания нескольких источников звуковых волн сегодня хорошо справляются в типичных акустических средах. Хотя определение расстояния до источника звука, основанное исключительно на использовании аудиоданных, пока несовершенно, однако тенденции развития в данном направлении четко указывают, что в скором времени этот вопрос будет разрешен, несмотря на то, что отсутствует единый стандарт, задающий качественные характеристики систем определения источников звука. Однако данная отрасль знаний имеет в своем распоряжении многие методологии, а также выработанные практические показатели для оценки эффективности таких систем.

Хотелось бы выделить следующие направления, в которых необходимо развивать системы определения источников звука:

1. Эффективная работа в более экстремальных акустических средах.

В настоящее время в широко распространённых звуковых средах определение расположения источника звука происходит достаточно быстро и точно, однако в экстремальных дислокациях, таких как, например, расположение робота внутри пещеры, в которой присутствует эффект реверберации звуковой волны, процесс определения источника звука сильно затруднен. Кроме того, автономный подвижный робот может оказаться в среде, где уровень шума сильно выше «тепличных» лабораторных условий, и его звуковая система должна соответственным образом моментально адаптироваться к такой среде. Кроме того, робота могут окружать самые различные звуки, отличные от речи человека, например, лай собак, пение птиц, звук свистка. Система определения расположения источника звука должна справляться и с такими сигналами.

2. Расширение горизонтов.

Несмотря не то, что система определения источника звука имеет свой конкретный узкий функционал, определенный требованиями, предъявляемыми к ней, необходимо постоянно пересматривать их, ведь с развитием области знаний и технических возможностей эта система позволит раскрывать все большие и большие горизонты, такие как, например, увеличение количества распознаваемых звуковых объектов, трехмерное позиционирование источника звука относительно робота, более быстрые алгоритмы распознавания звуков, позволяющие подвижному роботу в реальном времени эффективно выполнять задачи в изменяющейся обстановке.

Работа в описанных выше направлениях поможет решить текущие и будущие исследовательские вопросы в робототехнике, что приведёт как к дальнейшему улучшению системы определения источников звука, так и к развитию других систем робота, использующих акустические устройства, - всё это предоставит возможность расширить диапазон задач, решаемых роботизированными системами.

Список литературы

1. A. Portello, P. Danès, S. Argentieri, Active binaural localization of intermittent moving sources in the presence of false measurements, in: Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS, 2012, pp. 3294–3299.
2. H. Liu, M. Shen, Continuous sound source localization based on microphone array for mobile robots, in: Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS, 2010, pp. 4332–4339.
3. F. Grondin, F. Michaud, Time difference of arrival estimation based on binary frequency mask for sound source localization on mobile robots, in: Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS, 2015, pp. 6149–6154.
4. S. Pourmehr, J. Bruce, J. Wawerla, R.T. Vaughan, A sensor fusion framework for finding an hri partner in crowd, in: Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS, 2015, pp. 1-6.

 

Материал поступил в редакцию 12.03.2018
© Полушкин Д. П., 2018