science-review.ru
В прикладных областях, связанных с цифровой обработкой изображений, актуальна задача распознавания образов и определения их положения, ориентации и масштаба относительно заданной системы координат [2]. Признак изображения – это его простейшая характеристика или свойство. Некоторые признаки являются естественными в том смысле, что они устанавливаются визуальным анализом изображения, тогда как другие, так называемые искусственные признаки, получаются в результате его специальной обработки и измерений. Естественные признаки: светлота (яркость), текстура различных областей изображения и форма контуров объектов [3]. К этим признакам также можно отнести и четкость изображения. В процессе оптического распознавания текста часто возникают проблемы, связанные с зашумленным или недостаточно четким изображением [1]. В этой статье рассматривается обнаружение и анализ частично размытых изображений, а также новый метод обнаружения размытых изображений, извлечения возможных размытых областей и дальнейшей классификации их на две категории, а именно: размытие областей вне фокуса и размытие при движении. Метод пытается решить две серьезные проблемы. Одной из них является размытие с одновременным извлечением размытых областей. Вторая цель метода состоит в том, чтобы автоматически классифицировать обнаруженные области размытия на два типа: размытие вне фокуса и размытие при движении. Предполагается классификация размытия изображения на два класса, потому что они наиболее часто изучаются при восстановлении изображений. На рисунке показаны два примера частичного размытия.
Хотя темы анализа размытости изображения привлекли большое внимание в последние годы, в большинстве работ основное внимание уделяется решению проблемы затухания. Обнаружение общего размытия, напротив, редко изучается и по-прежнему далеко от практического применения. В [6] предложен метод для классификации размытых и неразмытых областей на одном исходном изображении. Этот метод основан на наблюдении того, что размытые области более инвариантны к низкочастотному рассеянию. Предполагается, что использование этой информации не является достаточным условием для распределения по классам. Для достижения качественного обнаружения размытия необходимо объединить различные меры размытия. Предложенный метод также не различает и типов размытия.
Примеры частично размытых изображений: а – размытие при движении объекта; b – размытия областей вне фокуса
Используя статистику градиентной информации в разных направлениях, метод [8] строит энергетическую функцию, основанную на выведенном ядре размытия, чтобы сегментировать изображение по слоям (размытые / неравномерные слои). Этот метод обнаруживает только размытые области движения путем выведения ядер направленного размытия. Другие методы оценки размытия, такие как предложенные в [8], обнаруживают только меру размытия, которая не может быть непосредственно использована для классификации размытия.
В этой статье предлагается подход к обнаружению и анализу размытия для автоматического извлечения размытых областей путем комбинирования специфически размытых признаков, представленных спектральной, градиентной и цветовой информацией, соответственно. Затем полученная информация о направлении локальной автокорреляционной функции, которая оценивает, насколько хорошо локальное окно в области размытия совпадает с пространственно сдвинутой версией самого себя, может использоваться для классификации по типам размытия. В предложенной классификации размытия не происходит слепой деконволюции, которая может включать сложную оценку ядра.
Этот процесс основан на ключевом моменте: если предполагается непосредственно использовать информацию о цвете изображения для каждой локальной области, трудно определить порог для классификации из-за изменения структуры естественного изображения. Таким образом, следует учитывать относительную информацию между пятном размытия и изображением, что предполагает, что данный анализ функций будет более надежным в отношении разнообразия цветовой структуры в естественных изображениях.
Предыдущие подходы по обнаружению и оценке размытия направлены на измерение размытости краев и основаны на анализе резкости края [10]. Подход [5] расширяет эту идею с учетом величины градиента по краю до нормального распределения. Тогда стандартное отклонение этого распределения вместе с градиентной величиной рассматривается как мера размытия. В некоторых подходах моделировалось фокальное размытие ядром гауссова размытия и вычислялся отклик с использованием управляемых гауссовых базисов первого и второго порядков. Поэтому фокусное размытие оценивается по толщине контуров объекта. Чжан и Бергхольм [9] определили гауссовскую разностную подпись, которая функционирует аналогично производной гауссовского порядка первого порядка, чтобы измерить размытость, представляемую объектами вне фокуса. Следует обратить внимание, что все эти методы предполагают, что функция разброса точек (ФРТ) моделируется гауссовским размытием. Они не могут применяться для обнаружения негауссовского размытия. Деконволюция слепого изображения [8] направлена на оценку размытости и скрытых неровных изображений. Большинство предложенных методов направлено только на пространственно-инвариантное размытие, то есть все пиксели входного изображения размыты по одной и той же ФРТ. Были предложены и некоторые методы [4, 11, 13] для решения проблемы частичного размытия с помощью пользовательского взаимодействия или предположений о размытии ядра.
Для всех этих методов, если ФРТ можно правильно восстановить, тип размытия также становится известен посредством использования структуры ФРТ. Однако на практике слепая деконволюция обычно выполняется неудовлетворительно даже путем принятия предположений по ограничению структуры изображения и ядра. Такие методы не справляются с частично размытыми изображениями. Кроме того, визуально правдоподобный результат деконволюции не означает, что ФРТ правильно оценивается. Эти факторы делают слепую деконволюцию не лучшим выбором для общего обнаружения размытия с точки зрения эффективности и точности, особенно для обработки изображений в большой базе данных.
Другим типом анализа размытия является автоматическая сегментация изображения с низкой глубиной резкости (DoF). Low DoF – это метод фотографии, который абстрагирует намерение фотографа, уделяя четкое внимание только объекту интереса (OOI). Предыдущие методы автоматического извлечения OOI не подходят для обнаружения размытия, потому что они работают только на входных изображениях Low DoF, содержащих фокус вне фокуса. В [7] изображения Low DoF обнаруживаются путем вычисления низкого индикатора DoF, определяемого отношением коэффициентов вейвлет-сигнала в высокочастотных центральных областях всего изображения. Этот метод просто предполагает, что изображения Low DoF содержат сфокусированный объект вблизи центра, а окружающие пиксели находятся вне фокуса. Этот метод также не подходит для обнаружения общего размытия.
Изображения в данной статье предложено классифицировать на два типа размытия. Обнаружение размытого изображения и типа размытия осуществляется в два этапа. Сначала выполняется обнаружение размытых изображений. На этом этапе предлагается использовать комбинацию из трех функций, а именно: «Сила локального спектрального наклона (градиента)», «Градиентная гистограмма» и «Максимальная насыщенность», чтобы моделировать характеристики размытия по-разному. Области размытости с направленным движением отличаются от размытых областей вне фокуса, что можно обнаружить при использовании другой функции – локальной автокорреляции. Обнаружить размытие без реальной оценки размытых ядер достаточно непросто.
Итак, метод обнаружения частично размытых изображений должен учитывать ряд особенностей размытия, рассмотрим их подробнее:
Локальный разрез спектра мощности. Из-за низкочастотной характеристики размытой области некоторые высокочастотные компоненты теряются. Таким образом, наклон амплитудного спектра размытой области имеет тенденцию быть более крутым, чем у неровной области.
Градиентная гистограмма. Распределение градиентной величины служит важным визуальным ключом при обнаружении размытия. Размытые области редко содержат острые края, что приводит к небольшой градиентной величине. Соответственно, распределение величины логарифма градиента для размытых областей должно иметь меньшее значение, чем для других областей изображения.
Максимальная насыщенность. Неровные области, вероятно, будут иметь более яркие цвета, чем области размытые. Соответственно, ожидается, что максимальное значение насыщенности в размытых областях будет меньше, чем в неразмытых областях.
Локальная автокорреляция. Если область размыта относительным движением между объектом и фоном в определенном направлении, все ребра объекта будут размыты, за исключением тех, которые разделены в одном направлении с движением. Это рассматривается как еще один важный визуальный аспект в предложенном анализе размытия.
При обработке частичного размытия, предполагаемый подход использует извлечение признаков по областям. В частности, необходимо разбить входное изображение на части и анализировать особенности в каждой из них.
На втором этапе обнаруженные области размытия измеряются с помощью локальной автокорреляционной конгруэнтности, чтобы распознать типы размытия. Учитывая список возможностей для распознавания резких и размытых областей, можно применить байесовский классификатор.
, (1)
где P(Sharp|q1; q2; q3), по правилу Байеса, означает вероятность маркировки области как размытой. Предполагая независимость функций, упрощаем (1) и получаем:
. (2)
Затем, каждая условная вероятность выше обучается с использованием набора обучающих образов. Учитывая локальную автокорреляцию, условные вероятности P(q4|focal blur) и P(q4|motion blur) обучаются, а классификация размытия достигается путем вычисления:
. (3)
В этой статье была предложена структура обнаружения и анализа изображений с частичным размытием и последующей их классификацией: содержит ли одно изображение размытые области и какие типы размытия присутствуют на изображении. Предложенный метод мог бы стать основой для решения многих проблем, связанных с размытым контуром и областями, таких как поиск изображений на основе контента, улучшение изображения, сегментация изображения высокого уровня и извлечение объектов.