41、远程语音识别实验与鲁棒语音处理工具包

远程语音识别实验与鲁棒语音处理工具包

远程语音识别实验

多通道语音识别的CNN方法

在多通道语音识别中，我们构建了跨越所有输入通道的特征图。通过跨通道的最大池化构建特征图，激活以通道方式生成，然后进行最大池化形成单个跨通道卷积带。得到的跨通道激活可以沿着频率进一步进行最大池化。通道卷积可以看作是二维卷积的一种特殊情况，有效池化区域在频率上确定，但时间上会根据麦克风之间的实际时间延迟而变化。基于CNN的多通道语音识别方法首次在相关研究中提出。

CNN/ANN模型在附加了一阶和二阶时间导数的FBANK特征上进行训练，这些特征在11帧窗口中呈现。

SDM录音实验结果

单通道CNN的实验结果如下表所示：
| 系统 | AMI开发集 |
| — | — |
| BMMI GMM - HMM (LDA/STC) | 63.2 |
| ANN (FBANK) | 53.1 |
| CNN (R = 3) | 51.4 |
| CNN (R = 2) | 51.3 |
| CNN (R = 1) | 52.5 |

使用CNN，相对于最佳的ANN模型，字错误率（WER）相对降低了3.4%；与判别训练的GMM - HMM相比，WER相对降低了19%。CNN模型的总参数数量随着R = N变化，而J在实验中保持不变。表现最佳的模型参数数量既不是最高也不是最低，这表明这可能是由于最佳的池化设置。

MDM录音实验结果

对于MDM情况，我们比较了延迟求和波束形成器和直接使用多个麦克风通道作为网络输入的方法。波束形成实验中，使用维纳