13、助力听力和言语障碍人士的应用探索

助力听力和言语障碍人士的应用探索

1. 相关研究综述

在助力听力和言语障碍人士的领域，众多学者开展了一系列的研究。
- DEEPHEAR方案 ：Ruxandra Tapu等人提出了一个利用深度卷积神经网络和计算机视觉算法的方案。该方案旨在感知和识别电影中动态演讲者的特征，解决多人在同一场景中发言时，识别当前发声者的问题，以及演讲者表情不可见的情况。通过定位字幕，DEEPHEAR能让观众轻松跟上电影信息和相关描述。不过，该方案在摄影中人物缺失的情况下无法使用，且在处理字幕不可用的电影语音到脚本库方面还有待拓展。
- 听觉辅助设备研究 ：Richard E. Ladner对用于听觉范围增强机器的消息传递设备模块进行了综述。目前的自动化听觉辅助工具虽然能在一定程度上改善听力，但存在价格高昂、需要持续维护（如定期更换电池）等问题，只有一小部分人能够负担得起。对于聋人群体来说，主要的交流方式是文字和手语，且世界各地的手语形式各不相同，缺乏统一的书面形式。
- Sign - Quiz应用 ：Jestin Joy等人研究的Sign - Quiz应用采用了深度神经网络（DNN）。它既经济实惠，又能让聋人和正常人轻松使用。该应用用于印度手语（ISL）的手势符号教育展示，通过DNN实现手语程序的自动识别。手指拼写作为手语和口语之间的中间环节，能表示英语字母A到Z，但学习者在没有专业手语专家的帮助下，很难掌握复杂的手势。
- 中文手语识别（CSLR） ：Suhail Muhammad Kamal等人对设计中文手语识别（CSLR）结构的方法进行了总结。手