Научный журнал
Научное обозрение. Технические науки
ISSN 2500-0799
ПИ №ФС77-57440

ОБНАРУЖЕНИЕ ЧАСТИЧНО РАЗМЫТЫХ ИЗОБРАЖЕНИЙ И ИХ КЛАССИФИКАЦИЯ

Гуркина Е.Д. 1 Белов Ю.С. 1
1 Калужский филиал ФГБОУ ВО «Московский государственный технический университет им. Н.Э. Баумана (национальный исследовательский университет)»
В данной статье была предложена структура классификации и анализа частично размытых изображений для автоматического обнаружения изображений, содержащих размытые области, и распознавание типов размытия для этих областей без необходимости выполнять оценку ядра размытия и коррекцию размытого изображения. Были предложены несколько функций размытия, смоделированных как по цвету изображения, так и по градиенту и спектральной информации. Обнаружение размытия основано на особенностях изображений, что делает распознавание и анализ размытых областей и их классификацию более эффективной. Обширные эксперименты показывают, что метод удовлетворительно работает над сложными данными, что составляет техническую основу для решения ряда проблем компьютерного зрения, таких как анализ движения и восстановление изображений, используя информацию о размытии.
обработка изображения
коррекция изображения
стабилизация изображения
движение объекта
размытые изображения
оценка движения
частично размытые изображения
обнаружение размытия
1. Гришанов К.М., Белов Ю.С., Морфологические операции для уменьшения шума на изображении // Наука, техника и образование – 2016. – №2 – С. 90–95. [Электронный ресурс]. – URL: https://elibrary.ru/item.asp?id=26847525 (дата обращения 17.05.2017).
2. Нестеров А.Ю., Бурмистров А.В., Белов Ю.С. Метод определения положения объекта в задачах распознавания образов // Электронный журнал: наука, техника и образование – №2, 2016. – С. 82–89. – URL: https://elibrary.ru/item.asp?id=26847524 (дата обращения 16.05.2017).
3. Сакович И.О., Белов Ю.С. Обзор основных методов контурного анализа для выделения контуров движущихся объектов // Инженерный журнал: наука и инновации – № 12,2014. [Электронный ресурс]. URL: http://engjournal.ru/catalog/it/hidden/1280.html (дата обращения 20.05.2017).
4. Bar L., Berkels B., Rumpf M., Sapiro G. A variational framework for simultaneous motion estimation and restoration of motion-blurred video. In ICCV, 2007.
5. Battiato S., Blanc-Talon J., Gallo G., Philips W., Popescu D., Advanced Concepts for Intelligent Vision Systems: 16th International Conference, ACIVS 2015, Catania, Italy, October 26–29, 2015. Scheunders Springer, 2015 p 6.
6. Boon T.K., Haidi I., First International Conference on Artificial Intelligence, Modelling & Simulation, “A Literature Survey on Blur Detection Algorithms for Digital Imaging”, 2013, p 237, Available at: http://ijssst.info/Vol-15/No-2/data/3251a237.pdf (accessed 22 April 2017).
7. Datta R., Joshi D., Li J., and Wang J. Z. Studying aesthetics in photographic images using a computational approach. In ECCV (3), 2006, pp 288–301.
8. Fergus R, Singh B, Hertzmann A, Roweis S. T., Freeman W. T. Removing camera shake from a single photograph. ACM Trans. Graph., 25(3), 2006, pp 787–794.
9. Hansen B., Hess. R. Discrimination of amplitude spectrum slope in the fovea and parafovea and the local amplitude distributions of natural scene imagery. Journal of Vision, 6(7), 2012, pp 696–711.
10. Keimel C, Design of Video Quality Metrics with Multi-Way Data Analysis: A data driven approach. Springer, 2015 p 158, Available at: https://books.google.co.uk/books?id=JbtPCwAAQBAJ&pg=PA226&lpg=PA226&dq=A+noreference+perceptual+blur+metric.+In+ICIP+(3)&source=bl&ots=yTjIxtpg8l&sig=Ou4yp9mnYgg_oZ2uCZxn7xYaOYA&hl=ru&sa=X&ved=0ahUKEwjck5GhutHUAhVsK8AKHZ_DCTIQ6AEIPDAE#v=onepage&q=205&f=false(accessed 12 May 2017).
11. Levin A.. Blind motion deblurring using image statistics. In NIPS, 2011, pp 841–848.
12. Shan Q, Xiong W., Jia J.. Rotational Motion Deblurring of a Rigid Object from a Single Image. In ICCV, 2007.

В прикладных областях, связанных с цифровой обработкой изображений, актуальна задача распознавания образов и определения их положения, ориентации и масштаба относительно заданной системы координат [2]. Признак изображения – это его простейшая характеристика или свойство. Некоторые признаки являются естественными в том смысле, что они устанавливаются визуальным анализом изображения, тогда как другие, так называемые искусственные признаки, получаются в результате его специальной обработки и измерений. Естественные признаки: светлота (яркость), текстура различных областей изображения и форма контуров объектов [3]. К этим признакам также можно отнести и четкость изображения. В процессе оптического распознавания текста часто возникают проблемы, связанные с зашумленным или недостаточно четким изображением [1]. В этой статье рассматривается обнаружение и анализ частично размытых изображений, а также новый метод обнаружения размытых изображений, извлечения возможных размытых областей и дальнейшей классификации их на две категории, а именно: размытие областей вне фокуса и размытие при движении. Метод пытается решить две серьезные проблемы. Одной из них является размытие с одновременным извлечением размытых областей. Вторая цель метода состоит в том, чтобы автоматически классифицировать обнаруженные области размытия на два типа: размытие вне фокуса и размытие при движении. Предполагается классификация размытия изображения на два класса, потому что они наиболее часто изучаются при восстановлении изображений. На рисунке показаны два примера частичного размытия.

Хотя темы анализа размытости изображения привлекли большое внимание в последние годы, в большинстве работ основное внимание уделяется решению проблемы затухания. Обнаружение общего размытия, напротив, редко изучается и по-прежнему далеко от практического применения. В [6] предложен метод для классификации размытых и неразмытых областей на одном исходном изображении. Этот метод основан на наблюдении того, что размытые области более инвариантны к низкочастотному рассеянию. Предполагается, что использование этой информации не является достаточным условием для распределения по классам. Для достижения качественного обнаружения размытия необходимо объединить различные меры размытия. Предложенный метод также не различает и типов размытия.

gur1.tiff

Примеры частично размытых изображений: а – размытие при движении объекта; b – размытия областей вне фокуса

Используя статистику градиентной информации в разных направлениях, метод [8] строит энергетическую функцию, основанную на выведенном ядре размытия, чтобы сегментировать изображение по слоям (размытые / неравномерные слои). Этот метод обнаруживает только размытые области движения путем выведения ядер направленного размытия. Другие методы оценки размытия, такие как предложенные в [8], обнаруживают только меру размытия, которая не может быть непосредственно использована для классификации размытия.

В этой статье предлагается подход к обнаружению и анализу размытия для автоматического извлечения размытых областей путем комбинирования специфически размытых признаков, представленных спектральной, градиентной и цветовой информацией, соответственно. Затем полученная информация о направлении локальной автокорреляционной функции, которая оценивает, насколько хорошо локальное окно в области размытия совпадает с пространственно сдвинутой версией самого себя, может использоваться для классификации по типам размытия. В предложенной классификации размытия не происходит слепой деконволюции, которая может включать сложную оценку ядра.

Этот процесс основан на ключевом моменте: если предполагается непосредственно использовать информацию о цвете изображения для каждой локальной области, трудно определить порог для классификации из-за изменения структуры естественного изображения. Таким образом, следует учитывать относительную информацию между пятном размытия и изображением, что предполагает, что данный анализ функций будет более надежным в отношении разнообразия цветовой структуры в естественных изображениях.

Предыдущие подходы по обнаружению и оценке размытия направлены на измерение размытости краев и основаны на анализе резкости края [10]. Подход [5] расширяет эту идею с учетом величины градиента по краю до нормального распределения. Тогда стандартное отклонение этого распределения вместе с градиентной величиной рассматривается как мера размытия. В некоторых подходах моделировалось фокальное размытие ядром гауссова размытия и вычислялся отклик с использованием управляемых гауссовых базисов первого и второго порядков. Поэтому фокусное размытие оценивается по толщине контуров объекта. Чжан и Бергхольм [9] определили гауссовскую разностную подпись, которая функционирует аналогично производной гауссовского порядка первого порядка, чтобы измерить размытость, представляемую объектами вне фокуса. Следует обратить внимание, что все эти методы предполагают, что функция разброса точек (ФРТ) моделируется гауссовским размытием. Они не могут применяться для обнаружения негауссовского размытия. Деконволюция слепого изображения [8] направлена на оценку размытости и скрытых неровных изображений. Большинство предложенных методов направлено только на пространственно-инвариантное размытие, то есть все пиксели входного изображения размыты по одной и той же ФРТ. Были предложены и некоторые методы [4, 11, 13] для решения проблемы частичного размытия с помощью пользовательского взаимодействия или предположений о размытии ядра.

Для всех этих методов, если ФРТ можно правильно восстановить, тип размытия также становится известен посредством использования структуры ФРТ. Однако на практике слепая деконволюция обычно выполняется неудовлетворительно даже путем принятия предположений по ограничению структуры изображения и ядра. Такие методы не справляются с частично размытыми изображениями. Кроме того, визуально правдоподобный результат деконволюции не означает, что ФРТ правильно оценивается. Эти факторы делают слепую деконволюцию не лучшим выбором для общего обнаружения размытия с точки зрения эффективности и точности, особенно для обработки изображений в большой базе данных.

Другим типом анализа размытия является автоматическая сегментация изображения с низкой глубиной резкости (DoF). Low DoF – это метод фотографии, который абстрагирует намерение фотографа, уделяя четкое внимание только объекту интереса (OOI). Предыдущие методы автоматического извлечения OOI не подходят для обнаружения размытия, потому что они работают только на входных изображениях Low DoF, содержащих фокус вне фокуса. В [7] изображения Low DoF обнаруживаются путем вычисления низкого индикатора DoF, определяемого отношением коэффициентов вейвлет-сигнала в высокочастотных центральных областях всего изображения. Этот метод просто предполагает, что изображения Low DoF содержат сфокусированный объект вблизи центра, а окружающие пиксели находятся вне фокуса. Этот метод также не подходит для обнаружения общего размытия.

Изображения в данной статье предложено классифицировать на два типа размытия. Обнаружение размытого изображения и типа размытия осуществляется в два этапа. Сначала выполняется обнаружение размытых изображений. На этом этапе предлагается использовать комбинацию из трех функций, а именно: «Сила локального спектрального наклона (градиента)», «Градиентная гистограмма» и «Максимальная насыщенность», чтобы моделировать характеристики размытия по-разному. Области размытости с направленным движением отличаются от размытых областей вне фокуса, что можно обнаружить при использовании другой функции – локальной автокорреляции. Обнаружить размытие без реальной оценки размытых ядер достаточно непросто.

Итак, метод обнаружения частично размытых изображений должен учитывать ряд особенностей размытия, рассмотрим их подробнее:

Локальный разрез спектра мощности. Из-за низкочастотной характеристики размытой области некоторые высокочастотные компоненты теряются. Таким образом, наклон амплитудного спектра размытой области имеет тенденцию быть более крутым, чем у неровной области.

Градиентная гистограмма. Распределение градиентной величины служит важным визуальным ключом при обнаружении размытия. Размытые области редко содержат острые края, что приводит к небольшой градиентной величине. Соответственно, распределение величины логарифма градиента для размытых областей должно иметь меньшее значение, чем для других областей изображения.

Максимальная насыщенность. Неровные области, вероятно, будут иметь более яркие цвета, чем области размытые. Соответственно, ожидается, что максимальное значение насыщенности в размытых областях будет меньше, чем в неразмытых областях.

Локальная автокорреляция. Если область размыта относительным движением между объектом и фоном в определенном направлении, все ребра объекта будут размыты, за исключением тех, которые разделены в одном направлении с движением. Это рассматривается как еще один важный визуальный аспект в предложенном анализе размытия.

При обработке частичного размытия, предполагаемый подход использует извлечение признаков по областям. В частности, необходимо разбить входное изображение на части и анализировать особенности в каждой из них.

На втором этапе обнаруженные области размытия измеряются с помощью локальной автокорреляционной конгруэнтности, чтобы распознать типы размытия. Учитывая список возможностей для распознавания резких и размытых областей, можно применить байесовский классификатор.

gu001.wmf, (1)

где P(Sharp|q1; q2; q3), по правилу Байеса, означает вероятность маркировки области как размытой. Предполагая независимость функций, упрощаем (1) и получаем:

gu002.wmf. (2)

Затем, каждая условная вероятность выше обучается с использованием набора обучающих образов. Учитывая локальную автокорреляцию, условные вероятности P(q4|focal blur) и P(q4|motion blur) обучаются, а классификация размытия достигается путем вычисления:

gu003.wmf. (3)

В этой статье была предложена структура обнаружения и анализа изображений с частичным размытием и последующей их классификацией: содержит ли одно изображение размытые области и какие типы размытия присутствуют на изображении. Предложенный метод мог бы стать основой для решения многих проблем, связанных с размытым контуром и областями, таких как поиск изображений на основе контента, улучшение изображения, сегментация изображения высокого уровня и извлечение объектов.


Библиографическая ссылка

Гуркина Е.Д., Белов Ю.С. ОБНАРУЖЕНИЕ ЧАСТИЧНО РАЗМЫТЫХ ИЗОБРАЖЕНИЙ И ИХ КЛАССИФИКАЦИЯ // Научное обозрение. Технические науки. – 2017. – № 2. – С. 38-41;
URL: https://science-engineering.ru/ru/article/view?id=1159 (дата обращения: 29.03.2024).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1,674