RNN 公式及其推导

通过时间反向传播

从 $t=1$ 到 $t=\tau$ 应用如下更新方程:

$a^{(t)} = b + Wh^{(t-1)} + Ux^{(t)}$

$h^{(t)} = tanh(a^{(t)})$

$o^{(t)} = c + Vh^{(t)}$

$\hat y^{(t)} = softmax(o^{(t)})$

设损失函数$L^{(t)}$为给定$x^{(1)}, ..., x^{(\tau)}$后 $y^{(t)}$的负对数似然，则:

$L(x,y) = - \sum_{t} log p_{model}( y^{(t)} | \left \{ x^{(1)}, ..., x^{(\tau)} \right \} )$

$= -log \frac{exp( o^{(t)}_{y(t)} )}{\sum_i exp( o^{(t)}_i )}$

$= -log \hat y^{(t)}$

其中$i$为 o(t)