语音论文阅读:使用无监督的预训练改善基于Transformer的语音识别

最新推荐文章于 2025-11-04 10:46:09 发布

原创最新推荐文章于 2025-11-04 10:46:09 发布 · 849 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #语音识别 #无监督学习

语音识别专栏收录该内容

33 篇文章

订阅专栏

该博客介绍了一种名为屏蔽预测编码（MPC）的无监督预训练方法，旨在解决建立语音识别系统时大量转录数据的高昂成本问题。MPC在Transformer模型上的应用在HKUST实验中显示出了优越的性能，实现了比最佳端到端模型更低的CER。通过更多预训练数据，CER进一步降低，表明无监督学习在语音识别领域的潜力。

摘要

语音识别技术在各种工业应用中取得了巨大的普及。然而，建立良好的语音识别系统通常需要大量的转录数据，这是昂贵的收集。为了解决这个问题，提出了一种被称为掩蔽预测编码的无监督的预训练方法，其可以应用于与基于Transformer的模型的无监督预传真预测。 HKUST的实验表明，使用相同的训练数据，我们可以实现23.3％，超过最佳端到端模型超过0.2％的绝对CER。通过更多的预训练数据，我们可以进一步将CER降低到21.0％，或相对CER减少11.8％的基线。

引言及相关工作

最近，无监督的预训练已经显示出有希望的若干领域，讲了无监督学习的预训练在各个领域的热门。在语音方面，无监督学习有对比预测编码(CPC)，自回归预测编码(APC)。并提出了一种简单有效的预训练方法，称为屏蔽预测编码（MPC）。

整体培训程序如图1所示。我们的培训包括两个阶段，在无监督数据上进行预测和对监督数据进行微调。为了引入模型结构的最小变化，直接对FBANK输入和编码器输出进行预测编码。编码器输出在所有实验中投射到与FBANK输入相同的维度。在无监督的预训练过程之后，我们删除了添加层进行预测编码，并插入Transformer解码器，用于在下游ASR任务上进行微调。与以前的使用预测编码不同，我们的设置不会将任何其他参数引入语音识别模型中。所有型号参数都是微调阶段的端到端培训。