Scientific journal
Scientific Review. Technical science
ISSN 2500-0799
ПИ №ФС77-57440

SMART PARKING SYSTEM BASED ON CONVOLUTIONAL NEURAL NETWORKS

Panina V.S. 1 Amelichev G.A. 1 Belov Yu.S. 1
1 Bauman Moscow State Technical University
Observing and classifying the problems that drivers face in major cities around the world, two main problems can be identified – lack of parking spaces and traffic congestion. With the growing population, the demand for vehicles is increasing day by day. While exploring ways to address these issues, one could consider a possible solution such as increasing the number of parking spaces or efficient use and management of available parking spaces. The latter method is more efficient and preferred. For the proper use of available resources, it is necessary to develop a reasonable and efficient way to avoid wastage of time, costs and fuel. In particular, when talking about parking, it is necessary to develop a safe and smart parking system. Intelligent Transportation Systems (ITS) has emerged as a key research topic in recent years, providing a suite of advanced services and applications. Despite the progress, there is still a need for an improved and distributed solution that can use data from available systems and provide proper real-time response to transport systems. This article presents an intelligent parking system based on convolutional neural networks.
intelligent transport system
smart parking system
neural networks
convolutional neural networks
computer vision

Поиск свободного места для парковки является распространенной проблемой в большинстве городов, особенно в популярных и посещаемых местах, таких как торговые комплексы, стадионы и другие часто посещаемые места или туристические достопримечательности. Эта ситуация становится более серьезной, особенно в пиковое время, будь то праздничные сезоны, карнавалы, распродажи или любые другие фестивали. Эта проблема возникает в большинстве случаев, когда посетители приезжают на собственном транспорте, что приводит к избытку или большому количеству транспортных средств, конкурирующих за несколько свободных парковочных мест [1]. Ограниченная доступность свободных парковочных мест часто приводит к пробкам на дорогах, а также к тому, что водитель не может найти свободное парковочное место. На самом деле это одна из основных проблем, которые приводят к пробкам на дорогах.

Прогресс в урбанизации и зависимость от транспорта приводят к очевидному увеличению количества транспортных средств на дорогах по всему миру, что отрицательно сказывается на качестве жизни. Заторы на дорогах, выбросы CO2, потери энергии, дорожно-транспортные происшествия и повышенный уровень стресса – вот некоторые из проблем, которые серьезно влияют на здоровье населения и тратят впустую полезные ресурсы. Ясно, что необходимы инновационные решения, и именно здесь интеллектуальные транспортные системы (ИТС) должны сыграть свою роль в быстром и эффективном обеспечении ощутимых результатов. Следовательно, необходимо внедрять новые прорывные технологии и методы, которые гарантируют, что ИТС будут более эффективными, безопасными и энергетически устойчивыми [2].

Для того чтобы решить проблему отсутствия хорошо организованной и полезной системы парковки, еще в 1970-х гг. во многих странах Европы, Соединенного Королевства и даже азиатских странах, таких как Япония, была внедрена интеллектуальная система парковки. «Умная» система парковки концентрируется на решении проблемы надлежащего управления парковкой с использованием передовых технологий, которые определенно помогут облегчить, если не решить текущую проблему с дорожным движением.

Цель исследования: изучить понятие интеллектуальной парковочной системы, а также рассмотреть архитектуру и особенности построения интеллектуальной парковочной системы на основе сверточных нейронных сетей.

Интеллектуальная парковочная система – это стратегия парковки, которая сочетает в себе технологии и человеческие инновации, стремясь использовать как можно меньше ресурсов, таких как топливо, время и пространство, для более быстрой, простой и плотной парковки транспортных средств в течение большей части времени, когда они простаивают.

Интеллектуальная парковочная система – это решение для парковки, которое может включать встроенные датчики, камеры или датчики подсчета. Эти устройства обычно встраиваются в парковочные места или располагаются рядом с ними, чтобы определить, свободны ли парковочные места или заняты. Это происходит за счет сбора данных в режиме реального времени. Затем данные передаются в мобильное приложение или веб-сайт умной парковки, которые сообщают о доступности своим пользователям. Некоторые компании также предлагают другую информацию в приложении, например цены на парковку и ее местоположение. Это дает вам возможность изучить все доступные варианты парковки.

«Умную» парковку и ее датчики можно рассматривать как часть «умных» городов. «Умные» города – это города, которые управляются ИТ-инфраструктурой, и с помощью этой инфраструктуры города могут повысить качество жизни и улучшить экономическое развитие своих жителей. Становление «умным» городом может быть хорошим способом сбора исторических данных относительно простым способом. Собирая эти данные, города могут анализировать, как можно оптимизировать такие процессы, как парковка.

В результате использования интеллектуальной парковочной системы люди, которые ищут место для парковки, найдут его наиболее эффективным способом, а компании или муниципалитеты смогут оптимизировать свои парковочные территории. Использование такой системы сможет сделать города более пригодными для жизни, безопасными и менее загруженными.

Компьютерное зрение в интеллектуальных парковочных системах. Существуют различные методы, позволяющие организовать такую систему. Одним из способов построения интеллектуальной парковочной системы является использование искусственного интеллекта, а в частности компьютерного зрения для распознавания свободных парковочных мест [3].

Искусственный интеллект стал свидетелем колоссального роста в преодолении разрыва между возможностями людей и машин. И исследователи, и энтузиасты работают над многочисленными аспектами этой области, чтобы добиться удивительных результатов. Одна из многих таких областей – это компьютерное зрение.

Главное в этой области состоит в том, чтобы позволить машинам видеть мир, как люди, воспринимать его подобным образом и даже использовать знания для множества задач, таких как распознавание изображений и видео, анализ и классификация изображений, воссоздание медиа, системы рекомендаций, обработка естественного языка и т.д. Достижения в области компьютерного зрения с глубоким обучением были созданы и усовершенствованы с течением времени, в первую очередь над одним конкретным алгоритмом – сверточной нейронной сетью (Convolutional neural network, CNN) [4].

Технология распознавания парковочных мест на основе алгоритма сверточной нейронной сети. Первым шагом интеллектуальной парковочной системы является обнаружение, идентификация и местонахождение свободного места на парковке для получения информации о занятости в режиме реального времени. В этой статье алгоритм на основе CNN используется для извлечения характеристик собранного изображения парковки, определения цели транспортного средства, а затем оценки занятости парковки. Процесс извлечения и распознавания признаков показан на рис. 1.

Panina1.pdf

Рис. 1. Извлечение признаков и распознавание сверточной нейронной сети

Алгоритм, принятый экстрактором признаков, является алгоритмом многоуровневых CNN. Процесс выделения признаков состоит в том, чтобы сначала выделить все особенности изображения, а затем создать области-кандидаты. Как показано на рисунке, экстрактор признаков CNN выбирает сверточный слой свертки в сети Visual Geometry Group (VGG16) для вывода карты признаков и генерирования области интереса кандидата (ROI). Затем область интереса объединяется с соответствующей картой функций, которая будет вырезана для формирования целевого функционального блока. После объединения ROI функциональные блоки преобразуются в фиксированный размер и переходят на полный уровень соединения. Затем они классифицируются и размещаются на уровне полного соединения, и получаются результаты классификации и распознавания. Модель CNN может точно определять парковочные места, но производительность в реальном времени оставляет желать лучшего.

Интеллектуальные парковочные системы на основе нейронной сети используются для распознавания автомобильных номеров с использованием видеоданных в реальном времени. CNN и машинное зрение реализованы для определения статуса занятости парковки. CNN также могут предоставлять информацию о дорожном движении по различным маршрутам [5].

Исходное изображение, полученное камерой, обрабатывается для обнаружения краев. Цветное изображение должно быть преобразовано в различные формы следующим образом.

Преобразование цвета в серый преобразует исходное цветное изображение в изображение в масштабе серого, отменяя информацию об оттенке и насыщенности при сохранении яркости. Далее следует логарифмическое преобразование, которое отображает узкий диапазон низких значений уровня серого во входном изображении в более широкий диапазон выходных уровней.

Вторая производная дает более сильный отклик на мелкие детали, такие как тонкие линии и изолированные точки на входном изображении.

Следующее преобразование – двоичное преобразование, которое напоминает цифровое изображение, имеющее только два возможных значения для каждого пикселя, т.е. черное и белое. Выходное изображение заменяет все пиксели входного изображения на 1 (белый) и 0 (черный) в соответствии с яркостью. Обнаружение краев – это комбинация различных математических методов, направленных на идентификацию точек на цифровом изображении, в которых яркость изображения резко меняется или, более формально, имеет разрывы. Это становится наиболее фундаментальным инструментом в обработке изображений, машинном зрении и компьютерном зрении, особенно в областях обнаружения объектов и извлечения объектов [6]. На рис. 2 показаны этапы предварительной обработки изображения.

Сверточная нейронная сеть – это расширение искусственной нейронной сети. Они различаются использованием сверточных слоев и слоев объединения. Сверточные слои всегда стоят на первом месте в CNN. Можно представить сверточный слой в виде фонарика, который освещает изображение и скользит по области во время процесса. Сверточная операция очень проста: она умножает значения в фильтре на исходные значения пикселей изображения. Карта активации или карта объектов получается на выходе сверточного слоя [7].

Panina2.pdf

Рис. 2. Этапы предварительной обработки

Архитектура CNN состоит из нескольких уровней, так что более высокие уровни представляют собой более высокие уровни абстракции, которые способны изучать отличительные аспекты из необработанных входных данных без создания специфических функций вручную для конкретной проблемы. В целом структура CNN состоит из нескольких функциональных блоков. Фильтры свертки применяются для извлечения локальных особенностей из входных изображений. Размер фильтра определяет размер принимающего поля, а количество фильтров представляет собой количество признаков, которые необходимо извлечь. Обычно используется нелинейная функция активации, которая активируется при обнаружении заданного шаблона. Для уменьшения размерности вводятся объединяющие слои, которые в сочетании со сверточными фильтрами получают инвариантные поступательные и вращательные свойства. В задаче классификации верхние слои сети часто образуют полносвязный слой, который связывает все узлы предыдущего слоя с оценкой класса выходного слоя с помощью функции активации softmax [8].

Другим важным слоем, который следует за сверточным слоем, является объединяющий слой, который также называется нижним слоем выборки. Существует множество уровней объединения, но максимальное объединение является наиболее популярным. Его можно визуализировать как фильтр, который при применении к входному объему выдает результат с максимальным числом в каждой подобласти, вокруг которой фильтр свертывается.

За каждым слоем свертки следует слой ReLu для введения нелинейности в систему, которая в основном только что вычисляла линейную операцию во время процесса свертки. Слой ReLu предпочтительнее, потому что он работает лучше, чем нелинейные функции. Используя эту функцию, сеть способна обучаться намного быстрее, не внося существенного изменения в точность.

Полностью связанный слой, наконец, появляется после нескольких слоев свертки и максимального объединения, которые выполняют высокоуровневые рассуждения в нейронной сети. Полностью связанные слои имеют нейроны, которые имеют связи со всеми активациями в предыдущих слоях.

Пример архитектуры интеллектуальной парковочной системы на основе сверточной нейронной сети представлен на рис. 3.

Заключение

Это исследование показывает эффективность использования интеллектуальной парковочной системы для облегчения и решения общей проблемы распределения парковочных мест в оживленных районах больших городов, таких как торговые комплексы, стадионы и другие популярные места, особенно в часы пик. Интеллектуальная парковочная система также предлагает лучшую и более эффективную альтернативу управлению автостоянками. Используя технологии обработки изображений для определения состояния доступности парковочных мест в среде беспроводной сенсорной сети, предлагаемая интеллектуальная система парковки предлагает лучшее решение для управления автостоянками. Помимо всех технологий, «умная» парковочная система представляет собой ориентированную на пользователя, а также удобную для пользователя систему, которая уделяет первостепенное внимание помощи пользователям с момента их прибытия на автостоянку до момента, когда они уезжают [9].

Интеллектуальные парковочные системы обычно получают информацию о доступных парковочных местах в определенной географической области и обрабатывают в режиме реального времени, чтобы разместить автомобили на доступных парковочных местах. В этой статье в качестве решения выступает компьютерное зрение и обработка изображений для определения доступных парковочных мест по изображениям с камер парковки.

Panina3.pdf

Рис. 3. Архитектура интеллектуальной парковочной системы на основе сверточной нейронной сети

Использование сверточных нейронных сетей для обнаружения свободных парковочных мест является отличным решением. Однако помимо решения, основанного на сверточных нейронных сетях, существуют и другие способы реализации интеллектуальной парковочной системы в городах [10].