RNN基本原理及梯度消失、梯度爆炸的问题原因及解决方法

一、RNN基本结构

1、隐层状态$s_t$

$$s_t=\sigma (U{x}_t+W{s}_{t-1}+b_1)$$ $\sigma$()是激活函数，通常选用Tanh、ReLU。

2、输出状态$o_t$

$$o_t=g(V{s}_t+b_2)$$$g$()是激活函数，对于分类任务通常选用$sigmoid$()。

3、Loss计算

输出状态$o_t$与目标输出$y_t$计算Loss：
$$L=\sum _t{L}_t=\sum _{t}Loss(o_t,y_t)$$$Loss$是损失函数，对于分类任务通常选用交叉熵损失函数。

二、RNN参数更新方式

1、首先需要明确：上述的循环重复结构，都是共享参数的，也就是说不管在什么时刻，权重矩阵$U$、$W$、$V$都是相同的。

好处：极大减少参数量+可以处理不定长序列。

2、梯度下降、反向传播过程

假设$t=3$的时刻，计算它的损失函数：
$$s_3=\sigma (U{x}_3+$$