Научный журнал
Научное обозрение. Технические науки
ISSN 2500-0799
ПИ №ФС77-57440

ПРОБЛЕМА ОТСЛЕЖИВАНИЯ ЦЕНТРА ВНИМАНИЯ ОПТОЭЛЕКТРОННЫМИ СИСТЕМАМИ БЕЗ ПРИМЕНЕНИЯ ИНФРАКРАСНОЙ ПОДСВЕТКИ

Исаева О.Л. 1 Киселева Е.С. 1 Бороненко М.П. 1
1 Югорский государственный университет
Сегодня важным аспектом современности является безопасность. Все чаще в системах безопасности применяют биометрические данные. Eye-tracker распознает и записывает положение зрачков и движения глаз. Устройство eye-tracker можно носить на голове или стационарно, его размещают на столе перед экраном монитора, его также можно использовать в любых исследованиях, связанных со зрительной системой. Зрительная информация вызывает естественные реакции глаз на увиденное, которые невозможно контролировать. Современные системы ай-трекинга показывают высокую точность при условии жесткой фиксации головы испытуемого. В системах айтрекинга без инфракрасной подсветки та же проблема. Чтобы выяснить причины изменений размеров зрачков, необходимо как можно точнее отслеживать положение центра внимания. Удовлетворительные результаты давала методика отслеживания центра внимания по координатам центра масс изображения зрачка. В условиях беспрепятственного поворота головы искажения трека становятся заметными. Контроль изменения координат отраженного в зрачке изображения относительно центра зрачка позволяет увеличить точность траектории центра внимания. Определяя углы Эйлера, можно изменять координаты центра внимания. Это позволит повысить точность идентификации причины изменения размера зрачка. Мы предлагаем альтернативный, более простой метод регулировки. В предлагаемом способе осуществляется переход к системе координат, связанной с зрачком.
ай-трекинг
тест-объект
координатная связь
эмоциональная реакция
пупиллограммы
центр масс
1. Фоменко Г.Ю. Психология личной безопасности: теоретико-методологические основы институционализации //Сообщество. Управление. 2010. № 1. С. 83–99.
2. Лебеденко Ю.И. Биометрические системы безопасности: учебное пособие. Тула: Изд-во ТулГУ, 2012. 171 с.
3. Лунева Е.А., Скобелкина Н.Г. Эйтрекинг в системе современных технологий нейромаркетинга // Стаж. 2016. № 3 (24). С. 50–53.
4. Жбанкова О.В., Гусев В.Б. Применение айтрекинга в практике профессионального отбора кадров // Экспериментальная психология. 2018. Т. 11. № 1. С. 156–165.
5. Dzeng R.J., Lin C.T., Fang Y.C. Using eye-tracker to compare search patterns between experienced and novice workers for site hazard identification. Safety Science. 2016. V. 82. Р. 56–67.
6. Бороненко М.П., Зеленский В.И., Киселева Е.С. Применение волн внимания в качестве маркера скрытых намерений // Национальный психологический журнал. 2019. № 2 (34). С. 88–98. DOI: 10.11621/npj.2019.0212.
7. Жбанкова О.В., Гусев В.Б. Использование метода видеоокулографии (eytracking) для выявления скрытой информации // Комплексная психопсихофизиологическая судебная экспертиза: современное состояние и перспективы развития: сборник статей научно-практической конференции (Калуга, 22–23 сентября 2016 г.). Калуга, 2016. С. 102–105.
8. Барабанщиков В.А., Жегалло А.В., Жозе Е.Г. Оценка достоверности сообщаемой информации о невербальном поведении // Комплексная психопсихофизиологическая судебная экспертиза: современное состояние и перспективы развития: сборник статей научно-практической конференции (Калуга, 22–23 сентября 2016 г.). Калуга, 2016. С. 26–36.
9. Фазылзянов Г.И. Белалов В.Б. Отслеживание глаз: когнитивные методики в визуальной культуре // Вестник Тамбовского государственного университета. 2014. № 2. С. 628–633.
10. Демидов А.А., Жегалло А.В. Оборудование SMI для регистрации движений глаз: тест-драйв // Экспериментальная психология. 2008. № 1. С. 149–159.
11. Катаев М.Ю., Ковалев Н.В., Грибоедов А.А. Восстановление углов поворота головы человека по изображениям // Доклады ТУСУРа 2.1. 2012. С. 238–242.
12. Катаев М.Ю., Ковалев Н.В. Оценка положения головы человека на основе анализа изображений // Доклады ТУСУР. 2010. № 1–2 (21). С. 183–187.
13. Бороненко М. и др. Использование активных тестовых объектов в системах безопасности // Материалы международной конференции AHFE 2019 по Нейроэргономике и когнитивной инженерии, а также международной конференции AHFE по промышленной когнитивной эргономике и инженерной психологии, 24–28 июля 2019 года, Вашингтон, США. Springer. С. 438.

Сегодня важным аспектом современности является безопасность [1]. Для ее обеспечения внедряются новейшие технологии. Все чаще в системах безопасности применяют биометрические данные [2]. Eye-tracker распознает и записывает положение зрачков и движения глаз. Устройство eyetracker можно носить на голове (очки или шлем) или стационарно, его размещают на столе перед экраном монитора, его также можно использовать в любых исследованиях, связанных со зрительной системой. Зрительная информация вызывает естественные реакции глаз на увиденное, которые невозможно контролировать [2]. Поэтому данная методика широко используется в таких приложениях, как выявление сонливости, диагностика различных клинических состояний или распознавание радужки, когнитивная и поведенческая терапия, визуальный поиск, реклама, неврология, психология, а также применяется для анализа в системах безопасности [3, 13].

О.В. Жбанкова и В.Б. Гусев рассматривают применения айтрекера и полиграфа в практике профессионального отбора кадров [4]. Ren-JyeDzeng, Chin-TengLin, Yi-ChoFang с помощью системы eye-tracking сравнивали, как опытные и начинающие работники могут оценить опасности на строительной площадке [5]. Таким же способом можно выяснять компетентность персонала в специальных вопросах. Часто отслеживание глаз используется для определения лжи [6]. Процесс регистрации положения и движения взгляда человека занимает в три раза меньше времени, чем стандартное исследование с использованием полиграфа. Этот метод же также используется в судебных экспертизах для определения истинности показаний [7]. Технология eye-tracking используется для повышения результативности в различных видах спорта, для прогнозирования поведения потребителей в ответ на различные маркетинговые стимулы, в процессе изучения иностранного языка и перевода, в процессе контроля знаний в дистанционном обучении Эмоциональную устойчивость человека можно определить по его реакции на представленные тест-объекты, путем анализа изменений размеров зрачка и траектории его движения.

В большинстве работ, посвященных использованию технологий слежения за глазами, анализируется направленность внимания при выполнении технических действий (в том числе игнорировании зрительных стимулов), измерение диаметра зрачка (как показателя когнитивной нагрузки), количества саккадических движений глаз, а также фиксаций, морганий и других параметров (Барабанщиков, Жегалло, 2013 и др.) [8]. Регистрируя время фиксации и плотность траектории взгляда, можно судить о значимости увиденных элементов для человека.

Существующие методы достаточно хороши для распознавания попыток сокрытия информации, но ни одна технология не может с абсолютной уверенностью дать 100-процентный результат [9]. Используемая при этом аппаратура, работает на принципе регистрации движений глаз в инфракрасном излучении с последующим определением направления по вектору смещения между центрами зрачка и роговичным блеском, дает высокую точность результатов при условии фиксации головы испытуемого. Однако без оборудования, обеспечивающего фиксацию головы, процесс анализа данных усложняется, увеличивается погрешность, поэтому разработка других методов, позволяющих без использования специального оборудования повысить точность и достоверность данных, является актуальной [10]. Применение для этих целей оптоэлектронных систем без применения инфракрасной подсветки имеет ряд преимуществ, связанных с тем, что глазодвигательные реакции регистрируются дистанционно, без прикрепления датчиков к телу испытуемого, что делает процедуру оценки ненавязчивой. В связи с чувствительностью отслеживаемых координат к повороту головы возникает необходимость разработки метода, снижающего влияние этого эффекта.

Цель исследования: разработка способа повышения точности отслеживания центра внимания трека оптоэлектронными системами без применения инфракрасной подсветки.

Материалы и методы исследования

Для изучения реакции зрачка на тестовые объекты был разработан шлем, создающий жесткую координатную связь между камерой и головой. Для видеосъемки использовались Астро-камера T7 Astro-nominal Astronomy Planetary High Speed Electronic Eyepice Telescope Digital Lens для наведения Астро-фотографии, видеорежим 30 fps, объектив микроскопа с оптическим увеличением 1X-100X. В эксперименте приняли участие 17 человек. Основную часть обследованных составили лица в возрасте до 20 лет, мужчин – 8, женщин – 9. Глазных заболеваний у респондентов не было. Все участники были заранее предупреждены и добровольно решили принять участие в эксперименте. В качестве тест-объектов использовались специально подобранные картинки с негативной эмоциональной окраской (отвращение, раздражение). Стимульный материал выводился на экран монитора. Расстояние между тест-объектами и глазом составляло не менее 2,5 м, испытуемым попеременно через равные промежутки времени предъявлялись изображения тест-объектов и монохромные слайды светло-серого цвета. Во время всех экспериментов яркость тестовых объектов не изменялась. Отбор тестовых изображений осуществлялся на основе опроса, проведенного среди большого числа респондентов.

Перед началом испытания каждый испытуемый проходил инструктаж, в котором оговаривались требования к процедуре испытания и порядку ее прохождения, а также регулировке кресла, на котором сидел испытуемый, и экрана монитора. Это было необходимо, в связи с физиологическими особенностями каждого человека. Индивидуальные данные испытуемых по реакции на тестовые объекты анализировались на основе изменения размеров зрачка и трекера внимания. Общее время всей процедуры исследования занимает не более 5 мин.

Обработка и анализ полученных результатов осуществлялись в два этапа. Во-первых, проводилось препарирование изображений, обработка и оконтуривание зрачков в ImageJ. Это было необходимо для дальнейшего анализа полученных данных: координатной траектории зрачка и его относительного размера. Визуализация результатов была проведена в Origin19. Программное обеспечение Origin является одним из самых мощных инструментов для графического представления результатов.

Результаты исследования и их обсуждение

При осуществлении серии экспериментов с предъявлением неприятного стимульного материала трудно найти одинаковый эмоциональный отклик. Кроме того, интенсивность раздражителей низкая. Это связано с разными предпочтениями, темпераментом людей, текущие проблемы и т.д. Поэтому результаты порой оказывались неожиданными. Мы планировали получить реакцию на тестовый объект, вызывающий отвращение, и получили реакцию на изображение Wi-Fi (рис. 1). Испытуемый никак не реагировал на тест-объект, который должен был вызвать отвращение, так как в момент тестирования он думал об онлайн-играх. Это выяснил опрос, проведенный после тестирования. Для него отсутствие интернета оказалось стрессовой ситуацией.

IS1.tif

Рис. 1. Трек внимания

IS2.tif

Рис. 2. График зависимости относительного размера зрачка и его координат движения от времени

На рис. 2 приведены графики зависимости изменения площади и координаты зрачка от времени демонстрации испытуемого объекта. В период от 6 до 9 секунд испытуемый наблюдал тестовый объект с изображением Wi-Fi (рис. 1). Анализ показал, что за этот период произошло незначительное изменение координат X и Y. Калибровка показала, что смещение центра внимания на 1°38' приводит к изменению размера зрачка не более чем в 0,1 раза. Синхронизация пупиллограммы с координатами отслеживает внимание через программное обеспечение.

В ходе калибровки было установлено, что в некоторых случаях полученные треки были смещены относительно области изображения (рис. 3, трек бирюзовый). Это связано с отсутствием жесткой координатной связи между головкой и поверхностью монитора, с которой демонстрировались тестовые объекты.

IS3.tif

Рис. 3. Искажение визуального следа вследствие вращения головы – бирюзовые точки; тот же трек в системе координат, связанным с центром зрачка – красные точки

Узнав параметр центр масс, можно определить координаты «центра внимания». Для этого необходимо на каждом кадре найти границы зрачка, указав порог (минимальную яркость), по которому осуществляется разделение. Получим черно-белое изображение (рис. 4).

IS4.tif

Рис. 4. Смещение центра внимания относительно координат

Каждое движение головы вызывает отклонение регистрируемого трека от истиного. Такие искажения недопустимы в высокоточных системах. Авторы М.Ю. Катаев и Н.В. Ковалев предложили метод оценки углов поворота головы человека, некритичный к изменению условий измерений [11–12]. Известно, что углы Эйлера однозначно определяют поворот одной системы координат относительно другой. Матрица вращения R:

isaev01.wmf

Уравнения, выражающие координаты точки в системе координат О’х’ relative относительно системы координат Оху:

isaev02.wmf

Таким образом, определяя углы Эйлера по упомянутой выше методике [11–12], можно изменять координаты центра внимания. Это позволит повысить точность идентификации причины изменения размера зрачка. Мы предлагаем альтернативный, более простой метод регулировки. В предлагаемом способе осуществляется переход к системе координат, связанной с зрачком. После этого перехода (рис. 3) трасса (красная) стала соответствовать заданию, поставленному перед участниками.

Также по результатам исследования можно сказать, что необходимо сортировать результаты на две группы: эмоциональные люди и неэмоциональные люди. Так как полученные пупиллограммы эмоциональных людей имеют большую амплитуду даже без испытываемых эмоций.

Выводы

В ходе проведенных исследований было установлено, что изменение угла наклона или поворота головы приводит к искажению трека, полученного методом без применения инфракрасной подсветки; переход к системе координат, связанной с центром зрачка, при отслеживании центра внимания позволяет минимизировать искажения. Так как очень важна точность трека для идентификации элемента, на котором была эмоциональная реакция. В этом случае видеокамера, используемая для получения информации о направлении взгляда, имеет жесткий координатный контакт с головой.

Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта 18-47-860018 р_а.


Библиографическая ссылка

Исаева О.Л., Киселева Е.С., Бороненко М.П. ПРОБЛЕМА ОТСЛЕЖИВАНИЯ ЦЕНТРА ВНИМАНИЯ ОПТОЭЛЕКТРОННЫМИ СИСТЕМАМИ БЕЗ ПРИМЕНЕНИЯ ИНФРАКРАСНОЙ ПОДСВЕТКИ // Научное обозрение. Технические науки. – 2019. – № 5. – С. 26-30;
URL: https://science-engineering.ru/ru/article/view?id=1261 (дата обращения: 29.03.2024).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1,674