Surdophone
2 млн. человек по всему миру считают язык жестов родным. Ежедневно таким людям приходится сталкиваться со множеством проблем: от похода в магазин до получения современного образования.
Совместно с компанией Сурдофон и венчурным фондом “Ломоносов Капитал” мы разработали проект, который бы решил проблему коммуникаций между глухими людьми и слышащими.
Результатом сотрудничества стало мобильное приложение Surdophone для iOS и Android, которое имеет несколько режимов работы. Ядром послужил код, основанный на алгоритме смыслового анализа текста и превращения звуковой речи в жестовую.
Приложение распознает речь собеседника и переводит на русский жестовый язык. Функция сурдоперевода может помочь не только в повседневном общении. Она упрощает просмотр телепередач и фильмов, переводит радиопрограммы, публичные выступления.
Глухой собеседник, в свою очередь, набирает текст, который воспроизводится компьютерным синтезатором речи.
Приложение обеспечивает видеосвязь на основе WebRTC. Пользователь может связаться с оператором Диспетчерского центра и получить квалифицированную помощь сурдопереводчика. С помощью приложения также возможен моментальный вызов экстренной помощи 112.
Хотим напомнить, что это не единственный наш проект с фондом “Ломоносов Капитал”. Совместно нам также удалось поработать над медицинским приложением AiMedica, определяющем заболевания на основании параметров пользователей и их симптомов.
Мобильное приложение для Surdophone
