34、英语、普通话及代码切换语音的标点恢复与多语言文本主题提取研究

英语、普通话及代码切换语音的标点恢复与多语言文本主题提取研究

在自然语言处理领域，标点恢复和多语言文本主题提取是两个重要的研究方向。本文将介绍有关英语、普通话及代码切换语音的标点恢复模型的研究，以及一种用于多语言文本主题提取的新型主题模型。

标点恢复模型研究

模型构建

• 基线模型 ：采用特定网络架构，分别在TED和NTU - EnMan数据集上训练标点恢复模型，作为后续实验的基线。
• 多语言和代码切换模型 ：使用TED和NTU - EnMan两个数据集进行模型训练，使模型具备预测英语、普通话及英普代码切换语音标点的能力。
• 模型集成 ：传统方法通常在开发集上选择表现最佳的训练检查点作为最佳的标点恢复（PR）模型。而本研究尝试对多个模型检查点进行平均，以得到更优的整体模型。具体操作是在每次训练实验的每个训练周期保存模型检查点，然后比较各训练周期在开发集上的性能，选择性能最佳的检查点进行平均，进一步优化最终模型。

实验设置

1. 数据预处理

   • 文本归一化 ：
   • 对于NTU - EnMan数据集，其存储在TextGrid文件中，首先从每个文件中提取文本，并将提取的文本文件合并为一个完整的文本语料库。接着进行文本归一化，去除括号、“–EMPTY–”和非语音噪声等不必要的符号。