В результате предшествующих исследований[3] был публикован обзор методов и технологийраспознавания жестов для интерактивного тренажера дактильной азбуки глухих, которые можно считать методами обучения [1, с.17], позволяющим взаимодействовать между глухими и слышащими посредством дактильной речи.

Рисунок 1. Диаграмма развёртывания из UML

В состав интерактивного тренажера, структура которого приведенана рисунке. 1, входят датчик и компьютер (или ноутбук). Датчик (LeapMotion)возможноприменять в операционной системе Window 8.1 с инструментом программирования VisualStudio 2012, причем в комплект программ, поставляемых с датчиком(LeapSDK) [4],  для разработчика доступны данные трехмерной модели руки, положение которой можно отслеживать в режиме реального временипо входным данным из 24 точек суставов руки и кончиков пальцев с тремя векторами (x,y,z).Очевидно, что проще разработать модуль распознавания статических жестов руки (модуль распознавания конфигурации руки). Недостатками такого подхода являются:распознавание не всех вариантов конфигурации руки, ограничение на максимальное расстояние от датчика до руки 10-15 см.Заметим, что, не смотря на это, получится пригодные для распознавания входные данные.

В данной работе предлагается алгоритм модуля распознавания конфигурации руки, который пошаговосопоставляет входные и эталонные конфигурации руками. Эталонные данные из 24 точек суставов руки и кончиков пальцев с тремя векторамисчитываются из текстового файла, который составляется из ранеесканированных входных данных.Алгоритмэтого модуля следующий:

На базе данного алгоритма реализован интерфейс пользователя, который похож на «Клавиатурный тренажер», но от клавиатурного отличается наличием входных данных конфигурации руки от датчика.В разрабатываемой системеглавным объектом являются упражнения, с выполнением которых происходит обучение пользователя. Упражнения[1, с.17] и эталонные конфигурации руки создаются, редактируются и проверяются администратором и хранятся в файлах. Обучаемый входит в систему, введя свое имя и пароль.Далее он выбирает уровень сложности упражнения и начинает выполнение интерактивного упражнения. Взаимосвязь объектов представлена на рис. 2.

рис 1.   Диаграмма объектов предметной области

Дальнейшей задачей исследования является выбор критериев для оценки точности распознавания жестов и проведение экспериментов для получения количественных оценок точности распознавания.

Список источников

1. Гейльман И.Ф. Знакомьтесь: Ручная речь. — М.: Загрей, 2001. 172 с.
2. Зайцева Г.Л. Жестовая речь. Дактилология: Учеб.для студ. ВУЗ. — М.: Гуманит. изд. центр ВЛАДОС, 2000. — 192 с. — (Коррекционная педагогика)
3. Приходько А.Л. Обзор методов и технологий распознавания жестов для разработки тренажера дактильной азбуки глухих [Электронный ресурс] / Приходько А.Л. — Международной заочной  научно-практической  конференции «Наука, образование,  общество:  тенденции  и  перспективы»,(г. Москва, 28 ноября 2014 г.)  – С. 45-49. – Режим доступ (2015.04.27): , свободный.
4. LeapMotionURL:www.LeapMotion.com(дата обращения: 27.04.2014)[schema type=»book» name=»АЛГОРИТМ ИНТЕРАКТИВНОГО ТРЕНАЖЕРА ДАКТИЛЬНОЙ АЗБУКИ ГЛУХИХ» author=»Приходько Алексей Леонидович, Гунько Андрей Васильевич» publisher=»БАСАРАНОВИЧ ЕКАТЕРИНА» pubdate=»2017-03-29″ edition=»ЕВРАЗИЙСКИЙ СОЮЗ УЧЕНЫХ_30.04.2015_04(13)» ebook=»yes» ]