science-review.ru
Введение
Современное образование постоянно сталкивается с вызовами, связанными с технологическим прогрессом. Это требует от педагогов новых компетенций и постоянного профессионального развития. Включение робототехники и компьютерного зрения в образовательные программы становится неотъемлемой частью подготовки школьников к будущей жизни в мире высоких технологий [1, с. 209; 2].
Робототехника представляет собой междисциплинарную область, которая объединяет знания из различных предметов: математики, физики, информатики. Интеграция робототехники в образовательный процесс не только углубляет знания по базовым дисциплинам, но и способствует развитию критического мышления, логики и креативности. Это позволяет школьникам формировать целостное представление о сложных технических системах, развивая навыки решения инженерных задач и работы с автоматизированными устройствами [2; 3].
Использование робототехники в образовании действительно становится важным фактором для развития у учащихся современных навыков. Вот несколько причин, почему это направление приобретает все большее значение:
– Искусственный интеллект, автоматизация и робототехника активно развиваются, и навыки работы с этими технологиями становятся ключевыми для успешной карьеры. Образование, включающее робототехнику, помогает учащимся быстрее адаптироваться к этим изменениям, что важно как для профессиональной, так и для личной безопасности в мире, где технологии играют все большую роль.
– Использование роботов и компьютерного зрения часто вызывает больший интерес у учеников по сравнению с традиционными методами обучения. Это связано с тем, что такие технологии предоставляют возможности для интерактивного обучения, где учащиеся могут видеть результаты своих действий в реальном времени [3].
– Включение роботов с машинным зрением и манипулятором в учебный процесс способствует развитию навыков программирования, анализа данных и проектирования. Это важно для выполнения сложных междисциплинарных проектов и системного мышления, что становится особенно востребованным на современных рынках труда [4].
– Роботы с функцией компьютерного зрения помогают обучающимся визуализировать свои действия и результаты, что делает обучение более наглядным и понятным. Это способствует лучшему пониманию теоретических концепций и развитию критического мышления у обучающихся.
Таким образом, внедрение робототехники и компьютерного зрения в учебный процесс не только актуально, но и необходимо для подготовки учеников к будущей жизни в высокотехнологичном мире. Это повышает их конкурентоспособность на рынке труда, а также развивает важные навыки, такие как критическое мышление, аналитические способности и креативность [4].
Данное исследование направлено на заполнение существующего пробела в области образовательной робототехники путем разработки и апробации методики обучения основам робототехники с использованием манипуляторов различной категории.
Цель исследования – разработка эффективных образовательных инструментов для обучения школьников основам робототехники, программирования и алгоритмического мышления.
Материалы и методы исследования
Материалом исследования является разработка роботов-манипуляторов с компьютерным зрением в рамках школьных проектов.
Авторы с 2018 по 2023 г. разработали серию интерактивных образовательных проектов на основе роботов-манипуляторов с машинным зрением. Целью проектов являлось развитие у школьников навыков программирования, механики и алгоритмического мышления. Список разработанных для проектов устройств:
1. Робототехническое устройство в проекте «Робот-пианист»:
– является декартовым манипулятором;
– выполнен в виде линейного актуатора на базе каретки от струйного принтера для передвижения кисти, использует сервоприводы LEGO® Mindstorms® EV3 (детский робототехнический конструктор) для управления пальцами;
– распознает ноты на нотном стане с использованием видеокамеры, управляет движением кисти и пальцев для игры на пианино.
2. Робототехническое устройство в проекте «Робот-музыкант»:
– является двухзвенным шарнирным манипулятором, работающим в одной плоскости;
– выполнен в виде вращающегося плеча и вращающейся кисти на базе сервоприводов и деталей Pitsco TETRIX® Max, использует компактные сервоприводы из набора «Амперка» (робототехнический конструктор с платой Arduino) для управления пальцами;
– распознает ноты на нотном стане с использованием видеокамеры, управляет движением плеча, кисти и пальцев для игры на пианино.
3. Робототехническое устройство в проекте «Робот с видеозрением и одной рукой»:
– является трехзвенным шарнирным манипулятором, работающим во всех трех измерениях;
– выполнен в виде трехзвенного шарнирного манипулятора с мощными сервоприводами на базе деталей Pitsco TETRIX® Max, содержит исполнительный механизм в виде клешневого захвата для стаканов;
– распознает прозрачные стеклянные стаканы на любом фоне с использованием видеокамеры, определяет наличие содержимого в стаканах, переливает жидкости из стакана в стакан.
4. Робототехническое устройство в проекте «Дельта-робот»:
– является параллельным манипулятором, работающим во всех трех измерениях;
– выполнен в виде дельта-робота на базе деталей и сервоприводов LEGO® Mindstorms® EV3;
– автоматически сортирует поступающие по конвейерной линии цветные кубики с использованием датчика цвета.
5. Робототехническое устройство в проекте «Дельта-робот с видеозрением»:
– является параллельным манипулятором, работающим во всех трех измерениях;
– выполнен в виде дельта-робота на базе деталей и сервоприводов LEGO® Mindstorms® EV3;
– автоматически сортирует по цвету разбросанные на площадке цветные кубики с использованием видеокамеры, имеет возможность ручного управления и записи перемещений.
Категории и координатные системы манипуляторов определены авторами, чтобы более точно описать разработанные устройства, исходя из особенностей каждого проекта. Общепринятой классификации роботов-манипуляторов не существует, так как конструкций и задач манипуляторов можно представить великое множество, и промышленные манипуляторы тоже весьма разнообразны [5].
Первые два проекта преимущественно направлены на развитие у школьника навыков работы с механикой и электроникой. Ограниченное количество степеней свободы подвижных частей руки и кисти не требует сложных математических расчетов. Школьника обучали на языке Java алгоритмам компьютерного зрения в процессе разработки программы распознавания нот. Для распознавания нот на нотном стане использовалась библиотека компьютерного зрения OpenCV, применялись алгоритмы обнаружения контуров и сегментации для выделения нотных линеек и отдельных нот. Именно поиск оптимальных решений для распознавания нот оказался наиболее увлекательным для школьника этапом проекта.
«Робот-музыкант» способен распознавать музыкальные ноты на изображениях нотного листа, полученных с помощью видеокамеры, и записывать их в текстовый файл в американской системе нотации. Робот умеет играть на клавишном синтезаторе, имитируя движения человеческой руки: перемещая кисть вдоль клавиатуры и нажимая клавиши четырьмя пальцами. Он может играть как с нотных листов, которые он видит видеокамерой, так и из текстового файла, где ноты записаны в американской системе нотации.
Простота управления предыдущими манипуляторами несколько снижает вариативность обучения, оставляя возможность углубления в область распознавания образов и глубокого машинного обучения, что может быть рановато для школьников среднего звена. Зато им можно предложить сменить музыкальный инструмент, допустим, на флейту или гусли.
В третьем проекте манипулятор сконструирован так, чтобы моделировать основные движения человеческой руки со стаканами. Один из способов управления трехзвенным шарнирно-сочлененным манипулятором требует решения обратной задачи кинематики, что вряд ли сможет выполнить каждый школьник [6]. Было принято решение упростить требуемые расчеты, и после долгих размышлений ограничили зону, где манипулятор может хватать стаканы. Стаканы могут располагаться только около одной вертикальной плоскости, которая находится на известном расстоянии от основания руки. Благодаря этому, сложная математическая задача, связанная с расчетом движения всех суставов руки, была упрощена до решения обычной геометрической задачи: найти углы в двух треугольниках [6].
Для задачи обнаружения прозрачных стаканов сначала рассматривались методы глубокого обучения. Однако, учитывая сложность, длительность обучения и требования к вычислительной мощности, было принято решение использовать традиционные методы компьютерного зрения. Анализ изображений показал, что наличие двойных бликов является характерной особенностью изображений стеклянных цилиндрических объектов. Для обнаружения этих бликов был разработан алгоритм, основанный на применении операторов обнаружения границ необходимых цветов из библиотеки OpenCV. В качестве основных признаков для классификации областей, соответствующих стаканам, были белый цвет пикселей внутри бликов и нахождения рядом двух характерных областей белого цвета [6].
Сложная задача точного распознавания прозрачных объектов и манипулирования стаканами была успешно решена. Разработанный манипулятор продемонстрировал высокую точность и надежность при выполнении поставленных задач, включая определение уровня наполнения стаканов и переливание жидкости. Школьники научились свободно писать на языке Java и составлять собственные алгоритмы на базе функций OpenCV. Школьники завоевали множество наград, в том числе стали финалистами международного конкурса ROST-ISEF-2019 [6].
К сожалению, в связи с характерным материальным оснащением реализация третьего проекта в школе определяет низкую динамичность и хрупкость разработанных трехзвенных шарнирно-сочлененных манипуляторов. Проект был бы идеален для студентов технических специальностей, которые помимо классического решения обратной задачи кинематики могут исследовать и другие методы управления трехзвенным манипулятором, такие как методы численного приближения, глубокое обучение, обучение с подкреплением и пр.
В четвертом проекте авторы предложили школьнику разработать быстрый и точный дельта-робот, сортирующий по цвету объекты, поступающие по конвейерной ленте.
Дельта-робот состоит из трех рычагов, соединенных с основанием при помощи шарнирных соединений. Каждый рычаг представляет собой параллелограмм, что обеспечивает постоянную ориентацию исполнительного механизма. Верхние точки рычагов соединены с платформой, на которой закреплен исполнительный орган робота. Такая конструкция позволяет роботу достигать высокой скорости и точности перемещения в ограниченном рабочем пространстве [7]. В процессе сборки робота школьник изучил особенности параллельных манипуляторов и управления ими.
В пятом проекте автор предложил школьнику разработать многофункциональный дельта-робот, способный выполнять задачи сортировки разбросанных на площадке объектов по цвету с помощью видеокамеры, а также записывать и воспроизводить сложные траектории движения. Школьник научился использовать в программе списки и словари.
Компьютерное зрение открывает новые возможности для применения дельта-роботов в различных отраслях промышленности. Благодаря этой технологии роботы становятся более интеллектуальными и универсальными, способными решать широкий круг задач:
– Дельта-роботы с компьютерным зрением могут с легкостью переключаться между различными типами деталей, определяя их положение и ориентацию в пространстве в режиме реального времени. Это значительно повышает гибкость производственных линий.
– Компьютерное зрение позволяет роботу проводить визуальный контроль качества деталей на лету, отбраковывая бракованные изделия и обеспечивая высокую степень однородности продукции.
– Если конвейерная лента остановилась или изменилось расположение деталей, робот с компьютерным зрением может самостоятельно скорректировать свою траекторию и продолжить работу, минимизируя простои.
– Работа с неструктурированной средой: Компьютерное зрение позволяет роботу работать в условиях неопределенности, например, с хаотично разбросанными деталями. Алгоритмы компьютерного зрения помогают роботу находить и захватывать нужные объекты даже в сложных условиях.
– Благодаря компьютерному зрению дельта-робот может безопасно взаимодействовать с человеком, распознавая его движения и избегая столкновений. Это открывает новые возможности для совместной работы человека и робота.
Алгоритмы распознавания объектов были разработаны на языке Java с использованием открытой библиотеки компьютерного зрения OpenCV 2.4.11, предоставляющей набор инструментов для обработки изображений и видео.
Для точного позиционирования эффектора манипулятора над обнаруженным кубиком необходимо решить обратную задачу кинематики – определить требуемые углы трех сервоприводов. Хотя в сети доступны готовые решения для дельта-манипуляторов, основанные на стереометрии и планиметрии, они могут быть сложны для понимания школьниками среднего звена [7]. Для них авторы предлагают упрощенный дискретный метод расчета углов. Этот метод позволяет табличным (алгоритмическим) способом определить необходимые значения, не требуя глубоких математических знаний, и сосредоточиться на реализации проекта.
Поскольку рабочая зона дельта-робота довольно ограничена и кубики имеют довольно крупный размер, предположено, что манипулятор может захватить кубики из 48 положений внутри прямоугольной рабочей зоны. Вручную выставляя манипулятор в углах, в середине ребер и в центре прямоугольника, записываем углы трех сервоприводов для этих девяти положений. Дальше, экспериментально выбрав круговую зависимость для интерполяции остальных углов, соответствующих 48 координатам, составляем словарь <координата, массив из трех углов> (или таблицу) из 48 элементов для алгоритма управления сервоприводами манипулятора.
Дополнительно школьником на языке Scratch в MIT App Inventor был успешно разработан дистанционный пульт на смартфоне Android, который расширяет возможности дельта-робота.
Функциональные возможности разработанного школьником дельта-робота:
– Автоматическая сортировка роботом предметов с помощью видеокамеры (робот автоматически определяет местонахождение цветных кубиков и перетаскивает их в соответствующие цвету кубика контейнеры).
– Дистанционное управление манипулятором через Bluetooth с пульта, реализованного в смартфоне Android.
– Функция ручного программирования перемещений исполнительного механизма с дистанционного пульта (робот может в ускоренном темпе повторять перемещения, совершенные человеком, например, для автономной работы в производстве.
– Для этого школьника сначала учили работать в визуальной среде Scratch, потом в MIT App Inventor, разрабатывать программу для удаленного управления контроллером EV3.
Результаты исследования и их обсуждение
Приведено краткое сравнение роботов-манипуляторов с точки зрения обучения:
– Декартов манипулятор был выбран для начального обучения механике и программированию, так как его конструкция очевидна, а управление интуитивно понятно.
– Двухзвенный шарнирно-сочлененный манипулятор позволил немного усложнить алгоритмы управления. Такие манипуляторы тоже нетрудно собрать на школьных наборах робототехники.
– Трехзвенный шарнирный манипулятор имеет очень широкую сферу применения, но требует освоения более сложных математических расчетов и алгоритмов управления, и труднее разработать качественный прототип.
– Дельта-робот обеспечивает высокую скорость и точность движений, лучше всех подходит для обучения и проведения экспериментов с его участием среди школьников с 6 по 11 класс. Дальнейшие исследования могут быть направлены на создание более сложных алгоритмов управления, на применение машинного обучения, как для распознавания образов, так и для непосредственного управления манипулятором.
Функция программирования с пульта дистанционного управления перемещений дельта-робота оказалась даже эффективнее, чем казалась перед началом разработки.
Все рассмотренные проекты были разработаны с использованием языка Java, но их легко можно переделать на другие языки, прежде всего на Python.
Немаловажно, что школьник убедился в своей полной способности разработать в будущем собственный коммерческий дельта-робот.
Заключение
анное исследование впервые представило детальное сравнение различных типов манипуляторов для образовательных целей, с особым акцентом на дельта-роботах. Дельта-робот быстрее и точнее, проще и дешевле в изготовлении, чем шарнирно-сочлененный трехзвенный манипулятор. Дельта-робот лучше всех манипуляторов подходит для школьников и по уровню математических задач, требуемых для управления им.
Выполнение планов по внедрению робототехники в образовательный процесс согласно ФГОС может сталкиваться с ограничениями материального обеспечения, и для решения проблемы данная статья предлагает разработку дельта-робота с компьютерным зрением как модуль образовательной программы. Предлагаемый модуль является инновационным и бюджетным решением для большинства школ. Он позволяет эффективно внедрить робототехнику в учебный процесс. Модуль может быть реализован и на любых уже имеющихся в школе манипуляторах при условии добавления компьютерного зрения.
Разработка роботов-манипуляторов не только способствует развитию технических навыков обучающихся, но и формирует у них системное мышление, креативность и умение работать в команде. Использование компьютерного зрения, машинного обучения и других современных технологий делает манипуляторы гибкими и адаптивными, способными решать широкий круг задач.