cs231n'18： Assignment 3 | LSTM Captioning

最新推荐文章于 2021-08-03 23:34:28 发布

原创

最新推荐文章于 2021-08-03 23:34:28 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#AI #CNN #cs231n

Assignment3 | LSTM Captioning

上一节介绍了 Vanilla RNN，同 NN 一样，RNN 存在的最大的问题就是梯度消失。这是因为，RNN 中需要学习的参数在一个 time capsule 结束之后才会更新一次，而在同一个 time capsule 中，所有的时刻都会有 loss 产生，因此也都会有对于参数的梯度产生，最后参数更新时的梯度是所有这些梯度之和。梯度的计算式为：
$\frac{\partial L}{\partial W} = \sum_{t=1}^{T} \frac{\partial L^{(t)}}{\partial W} = \sum_{t=1}^{T} \sum_{k=0}^{t} \frac{\partial L^{(t)}}{\partial o^{(t)}} \frac{\partial o^{(t)}}{\partial h^{(t)}} \left( \prod_{j=k+1}^{t} \frac{\partial h^{(j)}}{\partial h^{(j-1)}} \right) \frac{\partial h^{(k)}}{\partial W}$