10、语音技术新突破：APNet2 与 WBIG 助力语音合成与验证

语音技术新突破：APNet2 与 WBIG 助力语音合成与验证

在语音技术领域，语音合成和说话人验证是两个至关重要的研究方向。前者致力于生成高质量、自然流畅的语音，而后者则专注于准确验证说话人的身份。近年来，研究人员在这两个领域取得了显著的进展，APNet2 语音编码器和基于类内与类间样本插值的监督度量学习方法（WBIG）就是其中的杰出代表。

APNet2 语音编码器：提升语音合成质量

传统的 APNet 语音编码器在波形采样率和频谱帧移方面存在性能限制。为了解决这些问题，研究人员提出了 APNet2 语音编码器。与 APNet 相比，APNet2 进行了多方面的改进：
- 采用 ConvNeXt v2 作为骨干网络 ：用于幅度和相位预测，增强了模型的建模能力。通过实验对比，去掉 ConvNeXt v2 后，所有客观指标都出现了急剧下降，这充分证实了 ConvNeXt v2 在建模能力上的优越性。
- 引入 MRD 到基于 GAN 的损失函数中 ：在基于 GAN 的损失函数中，将 MRD 替换为 MSD 后，APNet2 的性能显著下降，这表明 MRD 更适合用于波形判别。
- 采用 Hinge GAN 形式 ：在基于 GAN 的损失函数中，采用原始的最小二乘法形式而非 Hinge 形式时，虽然 F0 的准确性显著提高，但波形和频谱相关指标却显著下降。这说明采用 Hinge GAN 损失在一定程度上有助于提高整体波形和频谱质量。

实验结果表明，APNet2 在波形采样率为 22.05 kHz 和频谱帧移约为 11.6 ms 的配置下，能够