24、循环神经网络中的梯度问题及解决方法

循环神经网络中的梯度问题及解决方法

1. 成本函数梯度计算

在时间 $t$ 时，成本函数的梯度广义方程由特定公式给出。为得到总成本函数的梯度，需要对每个时间步的成本梯度进行求和。总成本函数的梯度可表示为：
$\sum_{t = 1}^{T} \frac{\partial C}{\partial u_{ki}} = \sum_{t = 1}^{T} \frac{\partial C}{\partial h_{t}^{(i)}} \frac{\partial h_{t}^{(i)}}{\partial h_{t’}^{(i)}} \frac{\partial h_{t’}^{(i)}}{\partial u_{ki}}$ （4.2.12）
表达式 $\frac{\partial h_{t}^{(i)}}{\partial h_{t’}^{(i)}}$ 遵循乘积递推关系，可进一步表示为：
$\frac{\partial h_{t}^{(i)}}{\partial h_{t’}^{(i)}} = \prod_{g = t’}^{t - 1} \frac{\partial h_{g + 1}^{(i)}}{\partial h_{g}^{(i)}}$ （4.2.13）
结合（4.2.12）和（4.2.13），得到：
$\sum_{t = 1}^{T} \frac{\partial C}{\partial u_{ki}} = \sum_{t = 1}^{T} \frac{\partial C}{\partial h_{t}^{(i)}} \left( \prod_{g = t’}^{t - 1} \frac{\partial h_{g + 1}^{(i)}}{\partial h_