68、语音与图像交互技术：语义检测、验证及应用探索

语音与图像交互技术：语义检测、验证及应用探索

在当今的技术领域，语音识别和图像交互技术正不断发展，为人们的生活和工作带来了诸多便利。下面将详细介绍语音语义实体检测与话语验证实验，以及基于本体的社交网络图像通信策略。

语音语义实体检测与话语验证实验

实验数据来源于飞行员与空中交通管制员（ATC）的真实通信，测试集包含1434个句子。自动语音识别（ASR）识别器词汇量达10300个单词，准确率为83.9%。实验采用了两种ASR假设表示：最佳假设（1 - best）和原始未优化格。同时，还使用了人工标注的参考转录。

实验中使用的语法由第一层语义实体的术语指南和第二层有效性规则定义。实验未评估专家定义语法所涵盖的语义实体和验证规则数量，而是基于固定的语法集，评估不同ASR假设表示对验证性能的影响。以人工标注转录上的语义实体检测和验证结果作为验证参考，若话语完全符合规则，则认为其有效。

实验结果如下表所示：
| 假设类型 | 参考有效 | 参考无效 |
| — | — | — |
| 1 - best有效 | 275 | 86 |
| 1 - best无效 | 58 | 1015 |
| 格有效 | 303 | 117 |
| 格无效 | 30 | 984 |

使用原始格而非1 - best假设时，有效话语数量增加了14%。参考转录和ASR输出中有效句子的差异，可能是因为ASR中的语言模型基于训练数据中的n - 元组创建序列，而人工标注者不了解飞行员与ATC通信中的常见词序，更倾向于将单词标记为难以理解，而非猜测。

该实验提出了一种用于语义实体检测和话语验证的新算法，并将