Научный журнал
Научное обозрение. Технические науки
ISSN 2500-0799
ПИ №ФС77-57440

РАЗЛИЧНЫЕ ВИДЫ МИШЕНЕЙ И ИХ РАСПОЗНАВАНИЕ В ФРЕЙМВОРКЕ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ VUFORIA

Маслов А.С. 1 Белов Ю.С. 1
1 Московский государственный технический университет имени Н.Э. Баумана филиал
Информационные технологии уже прочно вошли в жизнь современного человека. Появляются различные инновации, несущие в себе все новые и новые перспективы. Одна из них – это технология дополненной реальности. Дополненная реальность (AR) – это общий термин для интерактивной 3D-среды, которая смешивается с нашей физической реальностью, обычно через веб-камеру. AR по определению – это живое, прямое или косвенное представление физической, реальной среды, элементы которой дополняются компьютерным сенсорным вводом, таким как звук, видеографика или данные GPS. Существует множество платформ создания приложений дополненной реальности для разработчиков, предлагающих различный функционал. В данной статье рассматривается Vuforia – набор для разработки программного обеспечения. Изучаются общие возможности, которые предоставляет данный пакет. Приводится высокоуровневая структура рассматриваемого набора инструментов, а также определяются его ключевые компоненты. Дается демонстрация определения ключевых объектов на изображениях различного вида, чтобы показать, какие изображения (объекты) лучше всего использовать в качестве мишеней. Рассматривается процесс распознавания объектов на различных видах мишеней, таких как изображения, объекты реального мира и текст, для реализации приложений на основе маркеров.
vuforia
дополненная реальность
маркеры дополненной реальности
мишени дополненной реальности
отслеживание маркеров
отслеживание мишеней
1. Vuforia documentation. Image Targets. [Электронный ресурс]. URL: https://library.vuforia.com/articles/Training/Image-Target-Guide (дата обращения: 12.12.2019).
2. Vuforia documentation. Multi-Targets. [Электронный ресурс]. URL: https://library.vuforia.com/content/vuforia-library/en/articles/Training/Multi-Target-Guide.html (дата обращения: 12.12.2019).
3. Vuforia documentation. Cylinder Targets. [Электронный ресурс]. URL: https://library.vuforia.com/content/vuforia-library/en/articles/Solution/Cylinder-Targets-Guide.html (дата обращения: 12.12.2019).
4. Vuforia documentation. Model Targets. [Электронный ресурс]. URL: https://library.vuforia.com/features/objects/model-targets.html (дата обращения: 12.12.2019).
5. Жулин А.Г., Манжикова С.Ц. Структура и алгоритмы систем дополненной реальности на основе маркера // Вестник Кыргызско-Российского славянского университета. 2018. № 4. С. 58–62.
6. Sravan Ch, Shivanku Mahna, Nirbhay Kashyap. Optical Character Recognition on Handheld Devices. International Journal of Computer Applications. 2015. Vol. 115. No. 22. P. 10–13.
7. Шапиро Л., Стокман Д. Компьютерное зрение / Под ред. С.М. Соколова, пер. с англ. А.А. Богуславского. 3-е изд. М.: Лаборатория знаний, 2015. 763 с.
8. Vuforia documentation. Natural Features and Image Ratings. [Электронный ресурс]. URL: https://library.vuforia.com/articles/Solution/Optimizing-Target-Detection-and-Tracking-Stability#Natural-Features-and-Image-Ratings (дата обращения: 12.12.2019).
9. Vuforia documentation. Object recognition. [Электронный ресурс]. URL: https://library.vuforia.com/articles/Training/Object-Recognition (дата обращения: 12.12.2019).
10. Vuforia documentation. Vuforia Object Scanner [Электронный ресурс]. URL: https://library.vuforia.com/content/vuforia-library/en/articles/Training/Vuforia-Object-Scanner-Users-Guide.html (дата обращения: 12.12.2019).
11. Daniel Wagner, Gerhard Reitmayr, Alessandro Mulloni, Tom Drummond, Dieter Schmalstieg. Pose tracking from natural features on mobile phones. Proceedings of the 7th IEEE/ACM International Symposium on Mixed and Augmented Reality. IEEE Computer Society. 2008. Р. 125–134.
DIFFERENT TYPES OF TARGETS AND THEIR RECOGNITION IN THE AUGMENTED REALITY FRAMEWORK VUFORIA

Maslov A.S. 1 Belov Yu.S. 1
1 Bauman Moscow State Technical University Kaluga branch

Abstract:
Information technologies have already firmly entered the life of modern man. There are various innovations, which bears in itself all new and new perspectives. One of them is augmented reality technology. Augmented reality (AR) is a generic term for an interactive 3D environment that mixes with our physical reality, usually through a webcam. AR by definition is a live, direct or indirect representation of a physical, real-world environment, elements of which are augmented by computer touch input such as sound, video graphics, or GPS data. There are many platforms for creating augmented reality applications for developers, offering different functionality. This article discusses Vuforia, a software development kit. The General features that this package provides are discussed. The high-level structure of the considered set of tools, as well as its key components, is given. A demonstration of the definition of key objects in images of different types is given to show which images (objects) are best used as targets. The process of recognition of objects on different types of targets, such as images, real-world objects and text for the implementation of marker-based applications, is considered.

Keywords:
vuforia
augmented reality
augmented reality markers
augmented reality targets
tracking markers
tracking targets

В современном мире набирают популярность приложения, использующие дополненную реальность. Они применяются почти во всех сферах жизни. Существует несколько готовых решений для разработчиков программного обеспечения, которые помогают достаточно просто реализовать приложения с подобным функционалом.

В данной статье будут рассмотрены Vuforia SDK и его возможности, которые предлагает данный пакет разработчикам для работы с маркерами отслеживания. Также рассмотрен процесс отслеживания различных видов мишеней, таких как мишень-изображение, мишень-объект и мишень-текст.

Цель исследования: рассмотреть Vuforia SDK и его возможности, которые предлагает данный пакет разработчикам для работы с маркерами отслеживания, а также рассмотреть процесс отслеживания различных видов мишеней, таких как мишень-изображение, мишень-объект и мишень-текст.

Объект исследования

Платформа Vuforia является продуктом компании Qualcomm Technologies, Inc. Это одна из лучших и наиболее креативных фирменных программных платформ AR, которая использует технически эффективные и высококачественные технологии распознавания изображений на основе компьютерного зрения в устройствах для соединения физического мира с цифровой средой. Это в основном набор для разработки программного обеспечения (SDK), который предоставляет инструменты для разработки приложений дополненной реальности.

Vuforia SDK предоставляет следующие возможности:

1) обратные вызовы для событий (пример: доступно новое изображение с камеры);

2) высокоуровневый доступ к аппаратным блокам (пример: запуск/остановка камеры);

3) несколько отслеживаемых объектов (типы отслеживания):

– изображения [1];

– множественные мишени [2];

– цилиндрические мишени [3];

– маркеры кадра;

– объектная мишень [4];

4) взаимодействие с реальным миром: виртуальные кнопки.

Ключевые компоненты AR:

1) данные камеры;

2) данные о местоположении;

3) сенсорные данные;

4) наложения компьютерной графики.

Данные камеры – это данные отображения в реальном времени с камеры android.

Для некоторых приложений android требуются текущие данные о местоположении мобильного устройства, на основе которых будет отображаться соответствующая информация.

Данные датчиков являются одним из основных ключевых компонентов приложений AR. При использовании камеры устройства android для получения фокуса конкретного изображения или объекта важным фактором, который следует учитывать, будет ориентация устройства android.

Таким образом, объединение всех данных образует графическое наложение над каналом камеры [5].

Особенности отслеживания мишеней

Vuforia использует некоторые вариации отслеживания природных особенностей. Естественными чертами на изображениях обычно являются резкие детали, такие как высококонтрастные углы или кончики треугольника (рис. 1) [6, 7].

masl1.tif

Рис. 1. Демонстрация определения объектов

Четыре фигуры демонстрируют то, что зарегистрировано как объект Vuforia. Объекты отмечены красными кругами. Обратите внимание на круг, не содержащий никаких элементов, так как нет углов, острых или заостренных деталей.

Данный метод был введен в начале 1980-х годов и основывается на разделении изображения на несколько разделов. Каждый участок смещается в нескольких направлениях, и измеряется изменение интенсивности изображения (значение RGB). Например, если участок изображения содержит прямую линию (или ребро, как его чаще называют), то сдвиг вдоль ребра приведет к небольшим общим изменениям интенсивности изображения. Однако сдвиг перпендикулярно краю вызовет большие изменения. Угол или пятно вызовут большие изменения при смещении в любом направлении. Рассматривая эти изменения интенсивности изображения, алгоритм отслеживания объектов может определить, что является объектом, и сопоставить положения этих объектов на изображении.

В результате алгоритм создает шаблон объектов. В базе платформы Vuforia эта модель особенностей – это то, что определяет цель. Когда цель обнаруживается приложением, объекты сопоставляются с предопределенными шаблонами объектов и оценивается положение этой цели. Поза – это общий термин, используемый в области компьютерного зрения. Это комбинация положения и ориентации, часто по отношению к 2D системе координат. В случае Vuforia система координат состоит из шаблона, созданного отслеживанием природных объектов.

Расширенное отслеживание

Расширенное отслеживание – это функция, которая позволяет Vuforia отслеживать цели, используя природные объекты, окружающие ее. С этими природными объектами Vuforia может построить карту объектов, окружающих цель и поддерживающих обнаружение, даже если маркер не находится в поле зрения камеры (рис. 2).

При включенном расширенном отслеживании Vuforia может отслеживать цели даже тогда, когда соответствующая цель находится вне поля зрения. На этом изображении назначенной целью является печатное изображение, прикрепленное к доске.

Создание и обновление карты могут потребовать очень больших вычислительных затрат.

masl2.tif

Рис. 2. Демонстрация расширенного отслеживания

Процесс распознавания различных видов мишеней. Распознавание изображений

С помощью Диспетчера целей можно определить цель изображения, используя любое изображение по выбору [8]. Является ли изображение хорошей мишенью – это другой вопрос. Целевые объекты изображения определяются на основе естественных объектов, которые извлекаются из целевого изображения и затем сравниваются во время выполнения с объектами в изображении камеры в реальном времени. Звездный рейтинг цели колеблется между 1 и 5 звездами, хотя цели с низким рейтингом (1 или 2 звезды) обычно могут обнаруживаться и отслеживаться хорошо. Для достижения наилучших результатов необходимо стремиться к целям с 4 или 5 звездами. Состав и количество объектов являются решающими факторами в том, насколько легко Vuforia может обнаружить цель изображения. Например, цели, показанные на рис. 3, демонстрируют, что Vuforia считает «хорошей» и «плохой» целью.

masl3.tif

Рис. 3. Хорошая и плохая мишени

Мишень изображения машины скорой помощи с высокой степенью обнаруживаемости указывает, что это легко отслеживается. Желтые крестики представляют обнаруженные объекты.

Более конкретно – хорошие цели содержат большое количество объектов, расположенных как можно более уникально. Изображение плотной 2D-сетки может содержать много объектов, но, поскольку шаблон повторяющийся, каждая секция этого изображения будет неразличима Vuforia. Это делает невозможным определение для программного обеспечения, что является верхом, низом и др. Следовательно, такие изображения станут плохими целями. Изображения круглых фигур без острых краев также будут плохими целями, просто потому, что нет никаких функций для обнаружения Vuforia. Обратите внимание на полное отсутствие обнаруженных объектов (нет желтых крестиков).

Изображение машины скорой помощи было сочтено Vuforia весьма заметным, поэтому его следует использовать в качестве мишени. Противоположное можно сказать об образе черного круга. Простой тест, показанный на рис. 4, демонстрирует обнаружение изображения этих двух целей.

masl4.tif

Рис. 4. Демонстрация обнаружения

Обе цели дополняются текстом, информирующим пользователя, если изображение было обнаружено. Текст появится только в том случае, если цель обнаружена. Цель машины скорой помощи обнаружена немедленно из-за ее высокой степени обнаруживаемости, тогда как черный круг не обнаружен вообще.

Распознавание объектов

В то время как Vuforia использует естественное отслеживание объектов в своей основе, процесс создания объектов-мишеней сильно отличается от создания мишеней-изображений [9]. Целевой объект изображения отображает объекты в 2D путем анализа пикселей файла изображения, предоставленного целевому менеджеру. 3D-объект имеет третью ось для рассмотрения. Мишени объектов позволяют пользователям просматривать дополненный объект с нескольких ракурсов, в то время как объект поддерживает его увеличение. Прежде чем увеличивать 3D-объекты, их нужно как-то сканировать.

Компания Vuforia разработала приложение для сканирования, которое способно сканировать относительно небольшие объекты, используя определенную «плоскость сканирования», на которой расположен объект (рис. 5, а) [10]. Сканер объектов Vuforia – это приложение для android, используемое для сканирования физического 3D-объекта. Сканер объектов выдает объектные данные – файл, содержащий исходные данные, необходимые для определения целевого объекта в Диспетчере целевых объектов. Сканер позволяет создавать, тестировать и редактировать OD-файлы. Он обеспечивает визуализацию объектных особенностей, а также их покрытие по всему объекту. Объекты следует сканировать при умеренно ярком и рассеянном освещении. Необходимо избегать прямого попадания света. Сканирование объектов с отражающими поверхностями при прямом освещении может привести к появлению областей без точек слежения. Поверхности объекта должны быть равномерно освещены и не содержать теней, вызванных другими объектами или людьми. Использование световых коробов и диффузоров помогает устранить прямое освещение и свести к минимуму спектральные отражения. Следует сканировать модель в среде, свободной от фонового шума. Это предотвращает введение свойств, которые не являются частью модели. Сканирование в загроможденных средах может создать ложные точки отслеживания. Можно вращать объект на 360 градусов и сканировать его без необходимости физического перемещения устройства. Таким образом, приложение сканера способно определить ориентацию каждого обнаруженного объекта в 3D, поскольку плоскость сканера работает как пространственная привязка. На самом деле «сканирующая плоскость» (или цель распознавания объекта) – это цель изображения, которая при обнаружении предоставляет сканеру координаты XYZ обнаруженных объектов на 3D-объекте. Сканер объектов Vuforia показан на рис. 5.

masl5a.tif masl5b.tif

а) б)

Рис. 5. а) Сканер объектов Vuforia. б) Отслеживание объекта без помощи дополнительных мишеней

Помещая сканируемый объект на цель изображения сканера, сканер Vuforia способен определить XYZ-координату обнаруженного объекта, представленную зеленой точкой [11]. Количество обнаруженных объектов можно просмотреть в верхнем левом углу.

После сканирования объекта его можно добавить в целевую базу данных и использовать для увеличения (рис. 5, б). Vuforia позволяет использовать 20 объектов-мишеней в базе данных одного устройства.

Хотя Vuforia не показала, как именно происходит отслеживание 3D-объектов, изучая предоставленное приложение сканера и их внимание на отслеживание обнаруженных объектов, можно предположить обнаружение точек интереса. Обнаружение точек интереса работает при наборе шаблонов изображений, захватывая внешний вид объекта и предопределенные шаблоны объектов. По мере обнаружения объектов трекером они сравниваются с объектами – точками интереса-изображений шаблона, благодаря чему можно рассчитать ориентацию в пространстве. Как видно на рис. 5, куполообразная сетка с зелеными и серыми прямоугольниками представляет собой покрытие шаблонных изображений и объектов, захваченных в каждом шаблонном изображении.

Заключение

В статье представлены возможности Vuforia SDK. Приведены ключевые компоненты любого приложения дополненной реальности, примеры «хороших» и «плохих» видов маркеров. Дано представление об особенностях отслеживания мишеней на основе естественных природных черт. Подробно рассмотрен процесс распознавания маркеров следующих видов: маркер-изображение и маркер-объект, также приведены графические материалы, поясняющие работу распознавания различных видов целей.


Библиографическая ссылка

Маслов А.С., Белов Ю.С. РАЗЛИЧНЫЕ ВИДЫ МИШЕНЕЙ И ИХ РАСПОЗНАВАНИЕ В ФРЕЙМВОРКЕ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ VUFORIA // Научное обозрение. Технические науки. – 2020. – № 1. – С. 15-19;
URL: https://science-engineering.ru/ru/article/view?id=1274 (дата обращения: 24.07.2021).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074