57、长音频对齐与韵律标注自动校正技术解析

长音频对齐与韵律标注自动校正技术解析

1. 长音频对齐相关工作

在语音处理领域，长音频与文本的对齐是一项关键任务。许多相关研究的参考基础是将强制对齐转化为递归和迭代适应的语音识别过程，利用动态规划在单词级别对齐假设文本和参考转录。后续工作对该系统进行了改进，以应对转录不精确的情况。例如，有人提出了驱动解码算法（DDA），可同时对齐和校正不完美的转录。还有一种基于Hirschberg动态规划算法的高效、简单的长音频对齐方法，它在音素级别对齐电话解码器输出和转录，并使用二进制矩阵对对齐操作进行评分。

2. 长语音 - 文本对齐系统

2.1 系统目标

语音 - 文本对齐系统的目标是实现源音频与相关文本的完美时间同步，恢复转录中每个单词的时间码。多语言长语音 - 文本对齐系统针对英语、西班牙语和巴斯克语进行训练，为每种语言开发了依赖于语言的电话解码器和 grapheme - to - phoneme 转录器。对齐算法的目的是找到电话解码器识别的音素与参考音素转录之间的匹配，只有正确对齐的音素的时间码才会用作进一步同步的参考时间。

2.2 上下文相关电话解码器

电话解码器在之前版本的基础上进行了改进，采用了跨词三音素模型来处理协同发音效果。语言模型由通用语言模型和为每个转录创建的特定模型插值而成，插值模型为二元三音素模型。三音素电话解码器使用 HTK 工具进行训练，信号参数化包括 18 个梅尔频率倒谱系数、能量及其一阶和二阶差分系数，使用 16 位 PCM 音频，采样率为 16 KHz。不同语言的解码器使用不同的数据库进行构建和训练，具体信息如下表所示：
| 语言 | 数据库 | 通用语言模型训练文本 | 电