6、语音质量对语音转文本翻译系统的影响及日常对话语音识别研究-优快云博客

本文链接：https://blog.youkuaiyun.com/gitlab7runner/article/details/151701431

语音质量对语音转文本翻译系统的影响及日常对话语音识别研究

在当今科技飞速发展的时代，语音识别和翻译技术取得了显著的进步。然而，在实际应用中，这些技术仍面临着诸多挑战，尤其是在处理日常对话和不同质量的音频时。本文将探讨语音质量对语音转文本翻译系统的影响，以及日常对话语音识别中存在的问题。

语音转文本翻译系统研究

数据集介绍

在语音转文本翻译（S2TT）系统的研究中，使用了两个重要的数据集：Prabhupadavani和MuST - C。
- Prabhupadavani ：这是一个关于吠陀文化和遗产的混合多领域语料库，包含130位说话者用英语说出的94小时语音。音频与来自五个语系的目标语言的相应文本进行了手动对齐。实验中使用了51,000个英语话语及其英文文本转录和印地语翻译进行训练，1,000个示例用于测试系统。
- MuST - C ：作为基准数据集，包含超过400小时的音频。它是一个多语言语音翻译语料库，有助于构建从英语到8种语言的S2TT系统。其音频来自TED演讲的英语录音，以及相应的文本转录和翻译。实验中使用了英语语音和德语文本的平行示例，约有250,000个训练示例。

这两个数据集的音频质量存在差异，MuST - C的音频清晰度更好，而Prabhupadavani的音频背景噪音较高，语音清晰度较低。为了研究两个语料库在S2TT任务中的最大潜力，使用了由Ekstep - Vakyansh开发的基于Tacotron 2架构的文本到语音合成（TTS）系统生成高质量音频，以减少音频中的声学变异性和背景噪音。