20、语音反转的远端监督学习模型研究

语音反转的远端监督学习模型研究

1. 引言

目前，先进的自动语音识别（ASR）系统在随意或自发语音场景下的性能会受到影响。这主要是因为自发语音具有很大的可变性，而这种可变性主要由上下文变化（即协同发音）引起。许多研究表明，发音信息可用于提高自动语音识别系统的性能。然而，在典型的说话 - 倾听场景中，获取发音信息并非易事。因此，需要一种方法来估计这些信息，这种方法通常被称为“语音反转”。

语音信号的生成过程可以用函数 $f: t \to x$ 表示，其中 $x$ 是表示声学语音信号的向量，$t$ 是表示发音器官配置的向量，$f$ 定义了从发音域到声学域的正向映射。在识别任务中，我们已知声学语音信号，但不知道发音数据。若定义函数 $g: x \to t$，则可通过 $g$ 从语音信号样本 $x_b$ 得到发音配置 $t_b$。因此，$g$ 是 $f$ 的逆函数，该公式代表了从声学语音到发音语音的反转任务。

已有的用于语音反转任务的机器学习技术包括人工神经网络（ANN）、支持向量回归（SVR）和自回归人工神经网络（AR - ANN）。ANN 在非线性回归问题中有一定的通用性，但在因一对多映射导致的不适定回归问题中表现不佳；SVR 模型估计的发音轨迹会受到估计噪声的影响；AR - ANN 架构中的反馈回路有助于保持发音轨迹的固有平滑性，但同时可能引入渐进误差，且计算成本较高。而远端监督学习（DSL）不仅能解决一对多映射问题，而且在估计性能上优于 ANN、SVR 和 AR - ANN。

2. 声道变量（TVs）

本文使用八个声道变量（TVs）作为发音信息来建模语音动态。声道变量描述了沿声道不同器官的收缩程度和位置，每个 TV 都涉及一组相关的发音器官，具体如