В результате предшествующих исследований[3] был публикован обзор методов и технологийраспознавания жестов для интерактивного тренажера дактильной азбуки глухих, которые можно считать методами обучения [1, с.17], позволяющим взаимодействовать между глухими и слышащими посредством дактильной речи.
Рисунок 1. Диаграмма развёртывания из UML
В состав интерактивного тренажера, структура которого приведенана рисунке. 1, входят датчик и компьютер (или ноутбук). Датчик (LeapMotion)возможноприменять в операционной системе Window 8.1 с инструментом программирования VisualStudio 2012, причем в комплект программ, поставляемых с датчиком(LeapSDK) [4], для разработчика доступны данные трехмерной модели руки, положение которой можно отслеживать в режиме реального временипо входным данным из 24 точек суставов руки и кончиков пальцев с тремя векторами (x,y,z).Очевидно, что проще разработать модуль распознавания статических жестов руки (модуль распознавания конфигурации руки). Недостатками такого подхода являются:распознавание не всех вариантов конфигурации руки, ограничение на максимальное расстояние от датчика до руки 10-15 см.Заметим, что, не смотря на это, получится пригодные для распознавания входные данные.
В данной работе предлагается алгоритм модуля распознавания конфигурации руки, который пошаговосопоставляет входные и эталонные конфигурации руками. Эталонные данные из 24 точек суставов руки и кончиков пальцев с тремя векторамисчитываются из текстового файла, который составляется из ранеесканированных входных данных.Алгоритмэтого модуля следующий:
На базе данного алгоритма реализован интерфейс пользователя, который похож на «Клавиатурный тренажер», но от клавиатурного отличается наличием входных данных конфигурации руки от датчика.В разрабатываемой системеглавным объектом являются упражнения, с выполнением которых происходит обучение пользователя. Упражнения[1, с.17] и эталонные конфигурации руки создаются, редактируются и проверяются администратором и хранятся в файлах. Обучаемый входит в систему, введя свое имя и пароль.Далее он выбирает уровень сложности упражнения и начинает выполнение интерактивного упражнения. Взаимосвязь объектов представлена на рис. 2.
рис 1. Диаграмма объектов предметной области
Дальнейшей задачей исследования является выбор критериев для оценки точности распознавания жестов и проведение экспериментов для получения количественных оценок точности распознавания.
Список источников
- Гейльман И.Ф. Знакомьтесь: Ручная речь. — М.: Загрей, 2001. 172 с.
- Зайцева Г.Л. Жестовая речь. Дактилология: Учеб.для студ. ВУЗ. — М.: Гуманит. изд. центр ВЛАДОС, 2000. — 192 с. — (Коррекционная педагогика)
- Приходько А.Л. Обзор методов и технологий распознавания жестов для разработки тренажера дактильной азбуки глухих [Электронный ресурс] / Приходько А.Л. — Международной заочной научно-практической конференции «Наука, образование, общество: тенденции и перспективы»,(г. Москва, 28 ноября 2014 г.) – С. 45-49. – Режим доступ (2015.04.27): , свободный.
- LeapMotionURL:www.LeapMotion.com(дата обращения: 27.04.2014)[schema type=»book» name=»АЛГОРИТМ ИНТЕРАКТИВНОГО ТРЕНАЖЕРА ДАКТИЛЬНОЙ АЗБУКИ ГЛУХИХ» author=»Приходько Алексей Леонидович, Гунько Андрей Васильевич» publisher=»БАСАРАНОВИЧ ЕКАТЕРИНА» pubdate=»2017-03-29″ edition=»ЕВРАЗИЙСКИЙ СОЮЗ УЧЕНЫХ_30.04.2015_04(13)» ebook=»yes» ]