Scientific journal

Scientific Review. Technical science

ISSN 2500-0799

ПИ №ФС77-57440

Одной из наиболее часто встречающихся задач обработки изображений является задача определения опорных точек. Опорные точки – это некие точки на изображении, имеющие уникальные свойств, например точки:

1) с наибольшим градиентом в определенной области;

2) с наибольшей или наименьшей яркостью;

3) находящиеся в углах проходящих по изображению линий, и т.д.

В дальнейшем определенные точки используются в таких задачах, как навигация [1], склейка панорамных изображений [2], определение позы человека или его эмоций по лицу [3], создание дополненной реальности [4] и т.д.

Соответственно, каждый способ определения опорных точек обладает преимуществами, помогающими при решении той или иной задачи: инвариантность к освещению, повороту, изменению точки обзора и т.д.

Для однозначного определения опорных точек используются дескрипторы, которые в зависимости от метода могут являться векторами или матрицами значений, вычисляемыми для каждой опорной точки и указывающими на ее основные признаки.

В работе рассматриваются различные методы нахождения опорных точек на изображениях, а также оценены качество определения и производительность каждого метода с целью выявления наиболее точного метода с низкой вычислительной сложностью.

Материал и методы исследования

Для оценки методов использовался набор из 7366 изображений, созданных из фотографий местности, отснятых со спутника.

Рис. 1. Пример изображений

Такие изображения содержат большое количество мелких деталей и шума, что позволит проверить методы в более сложных условиях. Каждая пара изображений в наборе соответствует одному участку местности. На изображениях показан участок размером 1200×1200 метров, погрешность смещения изображений относительно друг друга составила 0,68 метра. Все изображения трехканальные, преобразованные к размеру 500×500 пикселей. Пример изображений приведен на рисунке 1. Как видно из примера, изображения были получены в разное время суток и года, отличаются также и настройки камеры при съемке, что приводит к различиям в цветовых пространствах изображений.

Для проведения тестирования использовались следующие методы определения опорных точек на изображениях:

1) SIFT (Scale Invariant Feature Transform) [5] – метод, использующий для определения опорных точек пирамиду изображений различных размеров, к которой применяется фильтр Гаусса. Опорные точки определяются как локальные максимумы на изображениях нескольких уровней увеличения при помощи разности гауссианов. В качестве определений используются гистограммы направлений градиентов, полученные в опорной точке и ее окрестностях, представленные в виде 128-мерной матрицы. Поскольку опорная точка является локальным максимумом, в окрестностях этой точки лежат участки с отличающимися градиентами, таким способом достигается инвариантность метода к повороту изображения. Использование пирамиды изображений также делает этот метод инвариантным к масштабированию;

2) FAST (Features from Accelerated Segment Test) [6] – эвристический метод, отличающийся высокой скоростью вычисления. Для определения опорной точки анализируются 4 точки, находящиеся на расстоянии в 3 пикселя от потенциальной опорной. Если как минимум 3 из них темнее или светлее опорной, проверяются все 16 точек, лежащие на таком же расстоянии от нее. Если из них 12 последовательных точек темнее или светлее, точка помечается как опорная;

3) BRIEF (Binary Robust Independent Elementary Features) [7] – быстрый метод определения дескрипторов опорных точек. Дескрипторы определяются с помощью бинарных сравнений яркостей пикселей между опорной точкой и 256 случайными точками в области 31×31 пиксель вокруг опорной. Полученные дескрипторы инвариантны к освещению и искажению перспективы, но неустойчивы к повороту;

4) AKAZE (Accelerated-KAZE) [8] – система из детектора и дескриптора, основанная, как и SIFT, на пирамиде изображений, однако масштаб увеличения пирамиды в данном случае нелинеен, что позволило увеличить скорость нахождения опорных точек. В отличие от SIFT, опорные точки определяются с помощью определителя Гессиана пикселей в окрестности потенциальной опорной точки. Дескриптор вычисляется похожим на BRIEF методом, но при этом учитываются и значения градиентов по осям, проходящим через опорную точку;

5) ORB (Oriented FAST and Rotated BRIEF) [9] – этот метод появился в результате развития и объединения методов FAST и BRIEF с целью уменьшения влияния поворота изображения на качество дескрипторов. Это было достигнуто путем вычисления поворота опорной точки и последующего поворота матрицы координат точек, использующихся при расчете BRIEF;