29、语音处理技术：数据增强、翻译系统与质量评估

语音处理技术：数据增强、翻译系统与质量评估

1. 数据增强技术在语音翻译中的应用

数据增强是一种常用于人为增加训练数据集规模和多样性的技术。在语音翻译研究中，采用速度扰动对Prabhupadavani数据集进行增强，以探究其对直接语音到语音翻译（DS2ST）性能的提升效果。

1.1 速度扰动原理

速度扰动通过在时域对音频信号进行重采样来改变语音速率和时长。若原始音频信号为 (x(t))，扰动因子为 (\alpha)，则重采样后的音频信号 (y(t)) 可表示为：
[y(t) = x(\alpha t)]
在频域上，其对应关系为：
[X(f) = \frac{1}{\alpha}x(\frac{1}{\alpha}f)]
其中，(X(f)) 和 (\frac{1}{\alpha}x(\frac{1}{\alpha}f)) 分别是 (x(t)) 和 (y(t)) 的傅里叶变换。这种速度的改变会导致频谱包络和音频时长的变化。

1.2 数据集介绍

Prabhupadavani数据集是Vanimedia多语言字幕生成项目的成果。该项目翻译了1080个音频小片段，内容涵盖了Swami Prabhupada（国际奎师那知觉协会创始人）的对话、讲座、辩论和访谈，主要围绕《博伽梵歌》展开。项目目标是将音频翻译成108种语言，由700人手动完成翻译，因此文本质量很高。当前数据集包含26种语言，研究选取了印地语和英语进行实验。英语数据既有音频又有文本，而印地语只有文本。

语言	训练集