В Саратове разработали мобильное приложение по обучению и распознаванию языка жестов с помощью нейросети

Выпускники Саратовского государственного технического университета имени Гагарина Ю.А. разработали социально значимое мобильное приложение по обучению и распознаванию языка жестов с помощью нейросети. Оно предназначено для преодоления языкового барьера с людьми, у которых есть нарушения слуха. Разработка политеховцев сделает обучение более доступным и интерактивным. Об этом сообщило Министерство науки и высшего образования Российской Федерации.

Приложение позволяет пользователю изучать теорию, просматривать словарь, проверять свои знания и проходить интерактивное тестирование с помощью модели распознавания русского языка жестов.

Его авторы:  студенты выпускного курса Института прикладных информационных технологий и коммуникаций СГТУ Анастасия Халеева и Марина Крылова. Руководитель – старший преподаватель кафедры «Прикладные информационные технологии» ИнПИТ Екатерина Кулакова.

С помощью приложения пользователи могут научиться понимать и разговаривать на языке жестов, а нейросеть поможет быстро распознать жесты через камеру смартфона. Кроме того, функция системы «Свободное распознавание» позволяет в режиме реального времени переводить распознанные жесты в текстовый формат, что удобно при общении с людьми с ограниченными возможностями.

«Обучение пользователей наглядно проводится на трехмерных моделях кисти руки. Для нейросетевой модели создан собственный датасет русского языка жестов, который собирался совместно с сурдопереводчиками, а также посредством скрининга обучающих видеоресурсов. Модуль распознавания работает по следующему принципу: нейросетевая модель получает кадр изображения с видеопотока, определяет ладонь и находит 21 контрольную точку. Затем вектор точек передается модели, обученной на собственном датасете, которая посредством выбора наибольшей вероятности определяет жест», –  рассказывает  Екатерина Кулакова.

По словам разработчиков, чтобы повысить точность модели в режиме видеопотока, в работу были добавлены эпентезы (межжестовые движения). Сократить время распознавания в приложении помогает ограничивающая рамка для локализации области рук в кадре.

Мобильное приложение по своим функциям объединило лучшие черты аналогов и имеет ранее неиспользуемые на российском рынке функциональные возможности, что делает его перспективным и уникальным.