17、助力数学公式匹配与盲文学习的创新技术

助力数学公式匹配与盲文学习的创新技术

在当今数字化学习与交流日益频繁的时代，有两项技术对于特定领域的学习和交流起到了至关重要的作用，一项是用于匹配口语数学公式与屏幕显示公式的系统，另一项则是用于支持盲文学习和使用的NAT Braille软件。

数学公式匹配系统

该系统旨在解决在讲座等场景中，将讲师口头提及的数学公式与同时投影在屏幕上的公式进行准确匹配的问题。其主要的工作原理是结合了语音识别和指向手势提取技术。

1. 实验结果
   • 研究人员使用两场实际讲座的音视频信号对系统进行了测试。从测试结果（如下表所示）可以看出，系统在提取和匹配数学公式方面表现出色。在总共273个既被口头提及又在屏幕上显示的数学公式中，系统正确提取并匹配了195个。
     | 讲座 | 被提及并显示的公式数量 | 语音识别结果数量 | 提取的显示公式数量 | 正确匹配的发言数量 | 错误匹配的发言数量 | 召回率 | 准确率 |
     | — | — | — | — | — | — | — | — |
     | 1 | 205 | 173 | 170 | 150 | 55 | 73.1% | 88.2% |
     | 2 | 68 | 50 | 48 | 45 | 23 | 66.2% | 93.8% |
     | 总计 | 273 | 223 | 218 | 195 | 78 | 71.4% | 89.4% |
2. 系统优势
   • 系统能够取得如此高的性能（召回率71.4%，准确率89.4%），主要得益于