Ярослав Чеканов, студент 3-го курса Института интеллектуальной робототехники НГУ, создал программу RSL Interpreter, которая позволяет переводить жесты в текст. Приложение основано на технологиях искусственного интеллекта, работает на ПК в режиме реального времени и на мобильных устройствах. На текущий момент поддерживает только дактиль[1], в дальнейшем Ярослав планирует доработать модель, сделав ее более устойчивой, добавить больше жестов для перевода и обратный перевод.
Студенты Института интеллектуальной робототехники НГУ уже с третьего курса начинают работать над реальными проектами, которые направлены на решение задач индустриальных партнеров и разных социально-значимых задач. В программу обучения включен специальный предмет «Управление производственным процессом и разработка программного обеспечения». Идея создать переводчик русского жестового языка пришла Ярославу именно в ходе обучения по данному курсу, студенту хотелось разработать что-то новое, при этом связанное с искусственным интеллектом.
— Для создания приложения, над которым я работал самостоятельно, мне пришлось изучить русский жестовый язык. Очень трудоемкой была задача собирать огромный датасет (массив данных для обучения модели) и сделать тестовое решение на нем. Однако оно оказалось удачным. Я собрал приложение в исполняемый файл. Оно читает изображение с видеокамеры до момента, пока не будет закончен перевод, который в дальнейшем выводится на экран, — рассказывает о работе над проектом Ярослав Чеканов.
На рынке есть подобное решение, которое предлагает СБЕР, однако отличие разработки Ярослава в том, что использована другая архитектура, а само приложение работает быстрее и результат перевода более точный.
— Мой проект имеет важное социальное значение: он не только способствует инклюзивности, но и открывает новые возможности взаимодействия для людей с ограниченными возможностями. Кроме того, проект может быть интересен специалистам в области обучения жестовому языку, машинного обучения и лингвистам, изучающим эту форму коммуникации. Во многом мне помог мой наставник — Михаил Витальевич Филиппов. Именно благодаря ему я пришёл к уникальному решению этой сложной задачи. На текущий момент готовы версии приложения для компьютера и телеграм-бот, которому можно присылать видео для перевода. Также на днях я завершил разработку мобильного приложения. В дальнейшем я собираюсь представить свой проект в рамках трека Делаю от ТвойХод, — делится планами разработчик технологии Ярослав Чеканов.
[1] Дактиль — жестовая азбука.
