Scientific journal
Scientific Review. Technical science
ISSN 2500-0799
ПИ №ФС77-57440

HE PROBLEM OF TRACKING THE CENTER OF ATTENTION BY OPTOELECTRONIC SYSTEMS WITHOUT THE USE OF INFRARED ILLUMINATION

Isaeva O.L. 1 Kiseleva E.S. 1 Boronenko M.P. 1
1 Yugra State University
1652 KB
Today, an important aspect of modernity is safety. Increasingly, biometric data is used in security systems. Eye-tracker recognizes and records the position of the pupils and eye movements. The eyetracker device can be worn on the head or stationary, which is placed on a table in front of the monitor screen, it can also be used in any research related to the visual system. Visual information causes natural eye reactions to what is seen, which cannot be controlled. Modern i-tracking systems show high accuracy provided that the subject’s head is rigidly fixed. In non-infrared lighting tracking systems, the same problem. To find out the causes of changes in the size of the pupils, it is necessary to track the position of the center of attention as accurately as possible. Satisfactory results were obtained by the technique of tracking the center of attention by the coordinates of the center of mass of the pupil image. In the conditions of unobstructed head rotation, track distortions become noticeable. Monitoring changes in the coordinates of the image reflected in the pupil relative to the center of the pupil can increase the accuracy of the center of attention trajectory. By defining Euler angles, you can change the coordinates of the center of attention. This will improve the accuracy of identifying the causes of changes in pupil size. We offer an alternative, simpler adjustment method. In the proposed method, a transition is made to the coordinate system associated with the pupil.
eye tracking
test-object
a coordinate bond
an emotional response
pupillograms
center of mass

Сегодня важным аспектом современности является безопасность [1]. Для ее обеспечения внедряются новейшие технологии. Все чаще в системах безопасности применяют биометрические данные [2]. Eye-tracker распознает и записывает положение зрачков и движения глаз. Устройство eyetracker можно носить на голове (очки или шлем) или стационарно, его размещают на столе перед экраном монитора, его также можно использовать в любых исследованиях, связанных со зрительной системой. Зрительная информация вызывает естественные реакции глаз на увиденное, которые невозможно контролировать [2]. Поэтому данная методика широко используется в таких приложениях, как выявление сонливости, диагностика различных клинических состояний или распознавание радужки, когнитивная и поведенческая терапия, визуальный поиск, реклама, неврология, психология, а также применяется для анализа в системах безопасности [3, 13].

О.В. Жбанкова и В.Б. Гусев рассматривают применения айтрекера и полиграфа в практике профессионального отбора кадров [4]. Ren-JyeDzeng, Chin-TengLin, Yi-ChoFang с помощью системы eye-tracking сравнивали, как опытные и начинающие работники могут оценить опасности на строительной площадке [5]. Таким же способом можно выяснять компетентность персонала в специальных вопросах. Часто отслеживание глаз используется для определения лжи [6]. Процесс регистрации положения и движения взгляда человека занимает в три раза меньше времени, чем стандартное исследование с использованием полиграфа. Этот метод же также используется в судебных экспертизах для определения истинности показаний [7]. Технология eye-tracking используется для повышения результативности в различных видах спорта, для прогнозирования поведения потребителей в ответ на различные маркетинговые стимулы, в процессе изучения иностранного языка и перевода, в процессе контроля знаний в дистанционном обучении Эмоциональную устойчивость человека можно определить по его реакции на представленные тест-объекты, путем анализа изменений размеров зрачка и траектории его движения.

В большинстве работ, посвященных использованию технологий слежения за глазами, анализируется направленность внимания при выполнении технических действий (в том числе игнорировании зрительных стимулов), измерение диаметра зрачка (как показателя когнитивной нагрузки), количества саккадических движений глаз, а также фиксаций, морганий и других параметров (Барабанщиков, Жегалло, 2013 и др.) [8]. Регистрируя время фиксации и плотность траектории взгляда, можно судить о значимости увиденных элементов для человека.

Существующие методы достаточно хороши для распознавания попыток сокрытия информации, но ни одна технология не может с абсолютной уверенностью дать 100-процентный результат [9]. Используемая при этом аппаратура, работает на принципе регистрации движений глаз в инфракрасном излучении с последующим определением направления по вектору смещения между центрами зрачка и роговичным блеском, дает высокую точность результатов при условии фиксации головы испытуемого. Однако без оборудования, обеспечивающего фиксацию головы, процесс анализа данных усложняется, увеличивается погрешность, поэтому разработка других методов, позволяющих без использования специального оборудования повысить точность и достоверность данных, является актуальной [10]. Применение для этих целей оптоэлектронных систем без применения инфракрасной подсветки имеет ряд преимуществ, связанных с тем, что глазодвигательные реакции регистрируются дистанционно, без прикрепления датчиков к телу испытуемого, что делает процедуру оценки ненавязчивой. В связи с чувствительностью отслеживаемых координат к повороту головы возникает необходимость разработки метода, снижающего влияние этого эффекта.

Цель исследования: разработка способа повышения точности отслеживания центра внимания трека оптоэлектронными системами без применения инфракрасной подсветки.

Материалы и методы исследования

Для изучения реакции зрачка на тестовые объекты был разработан шлем, создающий жесткую координатную связь между камерой и головой. Для видеосъемки использовались Астро-камера T7 Astro-nominal Astronomy Planetary High Speed Electronic Eyepice Telescope Digital Lens для наведения Астро-фотографии, видеорежим 30 fps, объектив микроскопа с оптическим увеличением 1X-100X. В эксперименте приняли участие 17 человек. Основную часть обследованных составили лица в возрасте до 20 лет, мужчин – 8, женщин – 9. Глазных заболеваний у респондентов не было. Все участники были заранее предупреждены и добровольно решили принять участие в эксперименте. В качестве тест-объектов использовались специально подобранные картинки с негативной эмоциональной окраской (отвращение, раздражение). Стимульный материал выводился на экран монитора. Расстояние между тест-объектами и глазом составляло не менее 2,5 м, испытуемым попеременно через равные промежутки времени предъявлялись изображения тест-объектов и монохромные слайды светло-серого цвета. Во время всех экспериментов яркость тестовых объектов не изменялась. Отбор тестовых изображений осуществлялся на основе опроса, проведенного среди большого числа респондентов.

Перед началом испытания каждый испытуемый проходил инструктаж, в котором оговаривались требования к процедуре испытания и порядку ее прохождения, а также регулировке кресла, на котором сидел испытуемый, и экрана монитора. Это было необходимо, в связи с физиологическими особенностями каждого человека. Индивидуальные данные испытуемых по реакции на тестовые объекты анализировались на основе изменения размеров зрачка и трекера внимания. Общее время всей процедуры исследования занимает не более 5 мин.

Обработка и анализ полученных результатов осуществлялись в два этапа. Во-первых, проводилось препарирование изображений, обработка и оконтуривание зрачков в ImageJ. Это было необходимо для дальнейшего анализа полученных данных: координатной траектории зрачка и его относительного размера. Визуализация результатов была проведена в Origin19. Программное обеспечение Origin является одним из самых мощных инструментов для графического представления результатов.

Результаты исследования и их обсуждение

При осуществлении серии экспериментов с предъявлением неприятного стимульного материала трудно найти одинаковый эмоциональный отклик. Кроме того, интенсивность раздражителей низкая. Это связано с разными предпочтениями, темпераментом людей, текущие проблемы и т.д. Поэтому результаты порой оказывались неожиданными. Мы планировали получить реакцию на тестовый объект, вызывающий отвращение, и получили реакцию на изображение Wi-Fi (рис. 1). Испытуемый никак не реагировал на тест-объект, который должен был вызвать отвращение, так как в момент тестирования он думал об онлайн-играх. Это выяснил опрос, проведенный после тестирования. Для него отсутствие интернета оказалось стрессовой ситуацией.

IS1.tif

Рис. 1. Трек внимания

IS2.tif

Рис. 2. График зависимости относительного размера зрачка и его координат движения от времени

На рис. 2 приведены графики зависимости изменения площади и координаты зрачка от времени демонстрации испытуемого объекта. В период от 6 до 9 секунд испытуемый наблюдал тестовый объект с изображением Wi-Fi (рис. 1). Анализ показал, что за этот период произошло незначительное изменение координат X и Y. Калибровка показала, что смещение центра внимания на 1°38' приводит к изменению размера зрачка не более чем в 0,1 раза. Синхронизация пупиллограммы с координатами отслеживает внимание через программное обеспечение.

В ходе калибровки было установлено, что в некоторых случаях полученные треки были смещены относительно области изображения (рис. 3, трек бирюзовый). Это связано с отсутствием жесткой координатной связи между головкой и поверхностью монитора, с которой демонстрировались тестовые объекты.

IS3.tif

Рис. 3. Искажение визуального следа вследствие вращения головы – бирюзовые точки; тот же трек в системе координат, связанным с центром зрачка – красные точки

Узнав параметр центр масс, можно определить координаты «центра внимания». Для этого необходимо на каждом кадре найти границы зрачка, указав порог (минимальную яркость), по которому осуществляется разделение. Получим черно-белое изображение (рис. 4).

IS4.tif

Рис. 4. Смещение центра внимания относительно координат

Каждое движение головы вызывает отклонение регистрируемого трека от истиного. Такие искажения недопустимы в высокоточных системах. Авторы М.Ю. Катаев и Н.В. Ковалев предложили метод оценки углов поворота головы человека, некритичный к изменению условий измерений [11–12]. Известно, что углы Эйлера однозначно определяют поворот одной системы координат относительно другой. Матрица вращения R:

isaev01.wmf

Уравнения, выражающие координаты точки в системе координат О’х’ relative относительно системы координат Оху:

isaev02.wmf

Таким образом, определяя углы Эйлера по упомянутой выше методике [11–12], можно изменять координаты центра внимания. Это позволит повысить точность идентификации причины изменения размера зрачка. Мы предлагаем альтернативный, более простой метод регулировки. В предлагаемом способе осуществляется переход к системе координат, связанной с зрачком. После этого перехода (рис. 3) трасса (красная) стала соответствовать заданию, поставленному перед участниками.

Также по результатам исследования можно сказать, что необходимо сортировать результаты на две группы: эмоциональные люди и неэмоциональные люди. Так как полученные пупиллограммы эмоциональных людей имеют большую амплитуду даже без испытываемых эмоций.

Выводы

В ходе проведенных исследований было установлено, что изменение угла наклона или поворота головы приводит к искажению трека, полученного методом без применения инфракрасной подсветки; переход к системе координат, связанной с центром зрачка, при отслеживании центра внимания позволяет минимизировать искажения. Так как очень важна точность трека для идентификации элемента, на котором была эмоциональная реакция. В этом случае видеокамера, используемая для получения информации о направлении взгляда, имеет жесткий координатный контакт с головой.

Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта 18-47-860018 р_а.