25、深度神经网络声学模型自适应以实现鲁棒自动语音识别

深度神经网络声学模型自适应以实现鲁棒自动语音识别

1. 引言

深度神经网络（DNN）在许多自动语音识别（ASR）任务中表现出色，相比传统基于高斯混合模型（GMM）的ASR系统，其性能更优。然而，DNN的自适应仍是一个具有挑战性的问题。与传统的连续密度隐马尔可夫模型（CDHMM）不同，DNN的通用多层架构难以进行系统的自适应调整，这主要是因为其模型参数缺乏可解释的结构。

为了实现鲁棒的ASR，近年来提出了许多提高DNN自适应能力的方法。这些方法可以从自适应策略和自适应方法两个维度进行分类，具体如下表所示：
| 方法 | 测试时自适应 | 属性感知训练 | 自适应训练 |
| — | — | — | — |
| 约束自适应 | KL散度正则化、多任务学习（MTL） | - | - |
| 特征归一化 | LIN、CMLLR、fDLR | - | - |
| 特征增强 | - | i - 向量、BSV、NaT | 说话人编码 |
| 结构化参数化 | LHUC、LHN、LON、FHL | CAT、FHL、SAT、LHUC | - |

2. DNN自适应策略

DNN自适应方法主要分为三种常见策略：测试时自适应、属性感知训练和自适应训练。

2.1 测试时自适应

该策略不修改DNN的模型参数化和训练过程，而是在自适应时更新部分或全部模型参数，例如在测试时调整隐藏层的偏置向量。有时还会引入额外参数进行自适应，如在DNN的不同部分插入条件依赖变换，形成线性输入网络（LIN）、线性隐藏网络（LHN）和线性输出网络（LON）。学习隐藏单元贡献（LHUC）方法则通过为每个隐藏