science-review.ru
Экспоненциальный и непрерывный рост населения в крупных городах и наличие транспортных средств, подходящих для любого бюджета, привели к пробкам и в конечном итоге к нехватке парковочных мест. Как общественный, так и частный транспортный сектор практически всех крупных мегаполисов огромен и со временем продолжает расти, в результате чего требуется постоянный мониторинг, своевременное расширение и модернизация [1]. Без использования интеллектуальных и эффективных информационных систем очень сложно эффективно организовать и контролировать такой большой сектор. Интеллектуальные системы мониторинга – это системы, осуществляющие сбор и предварительную обработку данных на низком уровне. Для эффективного определения доступности парковки требуется интеллектуальный мониторинг зоны парковки и эффективное отслеживание автомобилей.
В настоящее время камеры видеонаблюдения развернуты практически повсеместно, эффективно используются в целях безопасности.
Одной из основных проблем, требующих решения, является проблема обнаружения движения. Одним из примечательных аспектов здесь является то, что алгоритмы компьютерного зрения имеют значительные ограничения в точности обнаружения транспортного средства. Изменения погоды, смена дня и ночи, наложение объектов временами приводят к искажению изображения. Мониторинг состояния парковки в режиме реального времени и предоставление соответствующих результатов пользователям имеет первостепенное значение. Эффективная информация о парковке, доставленная в нужное время, поможет водителям найти наиболее подходящие места для парковки и в конечном итоге приведет к сокращению заторов на дорогах [2]. Структура интеллектуальной системы мониторинга представлена на рис. 1.
Структура системы. Система мониторинга является частью интеллектуальной парковочной системы. Для построения такой системы необходимы некоторые обязательные модули, которые помогут сделать систему удобной для пользователя. Такими модулями являются модуль обновления базы данных, обработки изображений, модуль поиска кратчайшего пути и модуль ввода/вывода. Особое внимание следует уделить модулю обработки изображений. В этом модуле реализуется обработка изображений, снятых камерами видеонаблюдения для отслеживания статуса занятости любого парковочного места [3].
Модуль обработки изображений состоит из двух основных этапов. Первый этап – это этап маркировки, когда системе будет предоставлено изображение парковки, заполненной припаркованными автомобилями, которые необходимо пометить. Следующий этап – этап классификации. На этом этапе место для парковки, которое было отмечено в процессе маркировки, будет классифицировано как доступное или недоступное с использованием изображения или видео с камер видеонаблюдения.
Общую структуру модуля обработки изображения можно увидеть на рис. 2.
Рис. 1. Структура интеллектуальной системы мониторинга
Рис. 2. Структура модуля обработки изображений
Рис. 3. Этап маркировки изображения
Этап маркировки изображений. Этап разметки – это этап, на котором выясняются все позиции существующих парковочных мест, чтобы этот этап не нужно было повторять. Этот этап описан на рис. 3.
Парковки, заполненные автомобилями, будут сфотографированы, а затем полученные фотографии будут использованы в качестве исходных данных для этапа маркировки. Эти фотографии будут обрабатываться с использованием предварительно обученного метода You Only Look Once (YOLO) V3 для обнаружения всех автомобилей на фотографии.
Выбираем одно изображение с камеры видеонаблюдения. На изображении должна быть парковка, полностью заполненная припаркованными автомобилями. Используя это изображение, обнаружим каждую машину на изображении и создадим ограничительную рамку для каждой машины. Предполагая, что положение автомобилей совпадает с местом для парковки, сохраним свойство ограничительной рамки, которое содержит х позицию и у позицию, а также ширину и высоту ограничительной рамки [4].
Этап классификации изображений. Этап классификации – это этап определения занятости парковочного места, которое было размечено с помощью маркеров на этапе разметки. На этапе классификации определяется, доступна парковка или нет. Процесс этапа классификации показан на рис. 4. В качестве входных данных будет использоваться видео с камеры видеонаблюдения [5]. Входное видео будет обработано путем маркировки места парковки на основе ограничительной рамки, полученной на этапе маркировки. После того как ограничительная рамка применяется к видео с камер видеонаблюдения, каждая такая рамка должна определить, есть ли автомобиль на парковочном месте, путем обработки рамки с помощью mAlexNet. Использование mAlexNet на этапах классификации заключается в быстрой и точной обработке видео.
Рис. 4. Процесс этапа классификации
Рис. 5. Архитектура mAlexNet
Работа сети mAlexNet на этапе классификации. mAlexNet – это разработка Alexnet, которая использовалась для двоичной классификации. Alexnet – известная глубокая сверточная нейронная сеть, используемая в качестве эталона во многих исследованиях. Первоначально Alexnet обучался на одном миллионе наборов данных изображений, чтобы распознавать 1000 различных классов. В исследованиях, связанных с наличием парковочных мест, нужно различать только два класса. Чтобы система обнаружения работала хорошо, необходимо использовать меньшую архитектуру глубокой сверточной нейронной сети [6]. Упрощение сети было сделано потому, что изначально Alexnet был разработан для более сложных вводных задач по проблемам бинарной классификации.
mAlexNet – это архитектура глубокой сверточной нейронной сети, вдохновленная AlexNet. В AlexNet используются три сверточных слоя и два полносвязных слоя, включая выходной слой.
Первый и второй сверточные слои (conv1–2), за которыми следует максимальное объединение, нормализация локального отклика (LRN) и линейное выпрямление (ReLU).
Третий сверточный слой (conv3) не использует нормализацию локального отклика (LRN). Общее количество фильтра conv1–2 и количество нейронов в полносвязном слое (fc4) резко уменьшилось, чтобы оно было равно размерности задачи, и получило архитектуру примерно на 1340 параметров. В fc4 и fc5 (выходной слой) регуляризация отсева не использовалась [7]. Архитектура mAlexNet представлена на рис. 5.
Метрика Intersection over Union (IOU)
Для каждого объекта, обнаруженного на изображении, необходимо пересмотреть следующие вещи из модели Mask-RCNN:
1. Категория обнаруженного объекта (целое число). Модель COCO предварительно обучена обнаруживать 80 совершенно разных обычных объектов, которые легко увидеть по соседству, включая автомобили, поезда и автобусы.
2. Оценка достоверности обнаружения объекта. Чем выше число, тем точнее модель идентифицировала объект.
3. Ограничительная рамка объекта на изображении, представленная в виде точек X/Y пикселей.
4. Маска растрового изображения, определяющая, являются ли пиксели внутри ограничивающей рамки частью объекта или нет.
При обучении было обнаружено, что ограничительные прямоугольники автомобилей на изображении частично перекрываются в некоторых сценах. Для решения этой проблемы используется метод, известный как Intersection over Union (IOU). IoU получается по формуле, отраженной на рис. 6.
Рис. 6. Формула IOU
Вычисление IoU дает меру того, насколько ограничительная рамка автомобиля перекрывает ограничительную рамку места для парковки. Эти расчеты сделаны, чтобы определить, занимает ли автомобиль парковочное место или нет. Если расчетное значение IoU низкое, например 0,15, это указывает на то, что автомобиль не занимает много места на парковке. Но если расчетное значение велико, например 0,6, это означает, что автомобиль занимает большую часть парковочного места, что указывает на то, что парковочное место занято.
poly_intersection = poly1_shape.intersection(poly2_shape).area
poly_union = poly1_shape.union(poly2_shape).area (1)
IOU = poly_intersection/ poly_union
Примеры вычислений IOU показаны на рис. 7.
Рис. 7. Примеры вычислений IOU
Внедрим метрику IOU для каждого парковочного места. IOU рассчитывается для каждого слота и сравнивается с порогом. Слоты с IOU ниже порога считаются свободными парковочными местами, в противном случае парковка считается занятой. Чтобы получить точный и стабильный результат, пороговое значение устанавливается на максимальное значение [8]. Эти две функции используются для вычисления пересечения и объединения предоставленного многоугольника с ним (1).
В данной работе рассматривается одна из основных проблем, с которыми сталкиваются автомобилисты в городских районах, – поиск места для парковки. В то время как современные методы исследуют только ограниченные парковочные места, чтобы классифицировать участки как свободные или занятые, представленный подход обнаруживает автомобили в любом месте на парковке.