20、语音可懂度预测与声学场景分类技术解析

语音可懂度预测与声学场景分类技术解析

语音可懂度预测

在语音处理领域，准确预测语音可懂度是一个重要的研究方向。这里介绍一种基于语音失真来预测语音可懂度的方法。

模型架构

该模型由4个Inception块依次连接而成。每个Inception块包含24个1×1滤波器、32个3×3滤波器和8个5×5滤波器，最终输出64个特征图。这些特征图在深度轴上进行拼接，然后通过一个1×4的最大池化块（默认步长），作为输入传递到下一个Inception块。从第四个Inception块输出的特征图维度为64×T×2。每次卷积操作后使用ReLU作为激活函数。最终的特征图被展平，然后通过一个全连接网络，网络架构为N×500×400×1，其中N是潜在向量的大小，取决于输入信号的持续时间。全连接网络的所有中间层使用ReLU作为激活函数，最后一层不使用激活函数。

对于NORESQA模型，目标是输入信号和参考信号之间的ESTOI差异；对于失真模型，目标是输入录音的相应ESTOI。所有实验都使用小批量大小为16进行反向传播，损失函数采用均方误差。

实验细节与结果

主要针对2秒和3秒的录音进行了两组实验：
- 2秒录音实验 ：
- 第一组实验 ：使用TIMIT训练数据集的一个子集和QUT背景噪声作为训练数据集。从训练数据集中随机选择一个小批量，向每个语音录音中添加随机选择的信噪比（-15 dB到15 dB）的噪声。所有模型训练600个小批量的迭代。测试时，将TIMIT测试数据集与QUT背景噪声以随机选择的信噪比混合。
- 第二组