25、多说话人单通道候选语音提取与翻译语音后处理技术

多说话人单通道候选语音提取与翻译语音后处理技术

在语音处理领域，准确提取候选语音以及提升翻译语音的感知质量是两个重要的研究方向。下面将分别介绍多说话人单通道候选语音提取和翻译语音后处理的相关技术。

1. 多说话人单通道候选语音提取

在音频面试对话中，识别出对应候选人的语音片段对于后续候选人表现分析至关重要。传统的说话人分离系统在实际音频对话中的效果并不理想。基于候选人主要是对面试官提出的问题进行回应这一观察，提出使用在公开可用数据集上训练的 qa 分类器。

1.1 平滑处理

平滑处理发生在两个相邻的 sd 时间戳之间出现的 qa 段标签上，即 [t′sd k , t′sd k+1]。具体操作是收集 qa 标签序列 {Lqa}，并对这些标签进行 3 × 1 中值滤波。这些经过处理的标签 L′qa i 是面试记录的最终标签，所有标签为 L′qa == a 的 tqa 对应候选语音。

1.2 性能评估

对 tcs - ti 数据集中的 12 条面试记录进行性能评估，结果如下表所示：
|记录编号|真实片段总数|候选语音片段数|面试官语音片段数|sd 模块生成片段数|sd 模块性能|qa 分类器标记片段数|综合性能|
| ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- |
|tcs - ti#1|145|97|48|99|64.19%|109|77.70%|

从表中可以看出，使用 qa 分类器标签有助于更好地识别候选人与面试官的语音，整个 tcs - ti 数据库在识别候选人和面试官语音片段方面有 13.13% 的