43、提升普通话 - 英语翻译语音转录性能的研究

提升普通话 - 英语翻译语音转录性能的研究

1. 引言

近年来，将语音转文本（STT）和统计机器翻译（SMT）技术结合在同一处理流程中备受关注。若SMT系统以STT生成的标记序列为输入，明确STT阶段的决策对SMT组件性能的影响就显得尤为关键。

研究构建了一个将普通话音频转换为英语文本的转录 - 翻译流程，主要包含三个组件：
- STT组件：将普通话音频转换为普通话文本。
- 集成组件：对STT输出进行后处理，把口语数字转换为数字字符串，并重新分割标记序列。
- SMT组件：将后处理后的普通话文本翻译成英语。

实验对比了五个逐步改进的CU - HTK STT系统，这些系统均基于GALE项目开发，采用多遍、多分支框架。通过向恒定的CU - SMT系统输入这五个系统的输出，用TER和BLEU分数量化STT改进对SMT性能的影响。此外，添加了STT后句子边界检测（SBD）阶段，进一步提升了SMT性能。结果表明，在该实验设置下，STT和SMT性能的提升大致呈线性关系。

2. CU - HTK普通话STT系统

为使通用的CU - HTK架构能对普通话进行建模，针对普通话做了如下主要修改：
- 前端使用基于音高的特征（加上一阶差分、二阶差分），在异方差线性判别分析（HLDA）后添加。
- 声学模型可选择使用依赖带宽的隐马尔可夫模型（HMM）。
- 在决策树状态聚类过程中加入声调问题。
- 开发了双语言（普通话 - 英语）解码系统。
- 语言模型采用基于4元语法的词模型，基于简单最长匹配进行字符到词的分割。

五个CU - HTK普通话STT系统的具体信