32、深度神经网络在语音处理中的应用与优化

深度神经网络在语音处理中的应用与优化

1. 深度神经网络基础与局部梯度计算

在深度神经网络中，第 (L - 1) 层的局部梯度 ({D_{ji}^{(L - 1)}}) 可通过以下公式计算：
[
\frac{\partial E_n}{\partial A_{ji}^{(L - 1)}} = \sum_{t \in {X_n, Y_n}} \sum_{f = 1}^{F} \frac{\partial E_n}{\partial A_{ft}^{(L)}} \frac{\partial A_{ft}^{(L)}}{\partial Z_{ji}^{(L - 1)}} \frac{\partial Z_{ji}^{(L - 1)}}{\partial A_{ji}^{(L - 1)}} \triangleq D_{ji}^{(L - 1)}
]
其矩阵形式为：
[
D^{(L - 1)} = h’(A^{(L - 1)}) \odot \left( D^{(L)} \times_1 (U^{(L)})^{\top} \times_2 (V^{(L)})^{\top} \right)
]
其中，(\odot) 表示逐元素相乘。这些局部梯度 (D^{(L - 1)}) 用于计算第 (L - 1) 层的频谱和时间因子矩阵 ({U^{(L - 1)}, V^{(L - 1)}}) 的梯度。值得注意的是，第 (L - 1) 层的局部梯度 (D^{(L - 1)}) 是通过第 (L) 层的 (D^{(L)})、((U^{(L)})^{\top}) 和 ((V^{(L)})^{\top}) 以转置分解的形式计算得到的。并且，关于频率 (f) 处的频谱因子