В России создали технологию перевода артикуляции в речь

Российские ученые разработали уникальную технологию, позволяющую считывать артикуляцию рта и переводить ее в речь. Приложение для смартфонов будет использовать камеру для получения визуальной информации, обрабатывая ее в режиме реального времени."Программа будет оценивать положение губ и языка. Важной особенностью утилиты является необходимость в наличии соответствующего разрешения и частоты кадров в секунду. Приложение будет одновременно записывать разговор и воспроизводить его речевую версию", - рассказал Вячеслав Утемов, являющийся деканом факультета психологии Педагогического института ВятГУ.В программе будет специальный алгоритм, распознающий около 10 проблемных звуков, что позволит корректировать речь точнее. В ходе разработки утилиты были применены сразу несколько нейросетей с разным назначением. Для анализа звука будут использовать обычные секвенсоры с плагинами для их замены на семплы.Специалистам уже удалось проверить программу на 300 реальных пациентах, проведя более 8 тысяч сеансов разговора. Утилита также будет подсказывать человеку правильную артикуляцию в случае, если распознавание звуков станет проблематичным.

Также по теме: