深度学习(五) 循环神经网络基础

最新推荐文章于 2023-06-27 09:56:47 发布

原创最新推荐文章于 2023-06-27 09:56:47 发布 · 472 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #RNN

深度学习专栏收录该内容

6 篇文章

订阅专栏

本文深入探讨了循环神经网络(RNN)的基本原理及其两种改进模型——长短期记忆网络(LSTM)和门控循环单元(GRU)。针对RNN处理时序数据时存在的梯度消失和梯度爆炸问题，LSTM通过引入遗忘门、输入门和输出门机制增强了模型的记忆能力；GRU则通过简化LSTM结构，将遗忘门和输入门合并为更新门，减少了参数数量。

深度学习(五) 循环神经网络基础

5.1 RNN
RNN对于时序数据进行建模，上一刻的输出回作为下一时刻的输入。
更新方程：

h t = t a n (W h (t - 1) + U x (t)) 0 t = c + V h (t) (5.1.1)

$\begin{align} &h^t=tan(Wh^{(t-1)}+Ux^{(t)})\notag\\ &0^t=c+Vh^{(t)}\tag{5.1.1} \end{align}$
RNN存在的问题：
BP through time 反向传播的时候

WW $W$ 计算了很多次，会导致梯度消失或者爆炸

W

$W$ 最大的特征值 > 1梯度爆炸 <1 梯度消失为矩阵高次幂导致的

5.2 LSTM
特点：
增加遗忘机制。例如当一个场景结束是，模型应该重置场景的相关信息，例如位置、时间等。而一个角色死亡，模型也应该记住这一点。所以，我们希望模型学会一个独立的忘记/记忆机制，当有新的输入时，模型应该知道哪些信息应该丢掉。
增加保存机制。当模型看到一副新图的时候，需要学会其中是否有值得使用和保存的信息
所以当有一个新的输入时，模型首先忘掉哪些用不上的长期记忆信息，然后学习新输入有什么值得使用的信息，然后存入长期记忆中
把长期记忆聚焦到工作记忆中。最后，模型需要学会长期记忆的哪些部分立即能派上用场。不要一直使用完整的长期记忆，而要知道哪些部分是重点。
更新公式：

i t = σ (W i h t - 1 + U i x t + b i) o t = σ (W o h t - 1 + U o x t + b o) f t = σ (W f h t - 1 + U f x t + b f) p t = t a n h (W p h t - 1 + U p x t + b p) c t = f t ⊙ c t - 1 + i t ⊙ p t h t = o t ⊙ t a n h (c t) (5.1.2)

$\begin{align} &i^t=\sigma(W_ih_{t-1}+U_ix_t+b_i)\notag\\ &o^t=\sigma(W_oh_{t-1}+U_ox_t+b_o)\notag\\ &f^t=\sigma(W_fh_{t-1}+U_fx_t+b_f)\notag\\ &p^t=tanh(W_ph_{t-1}+U_px_t+b_p)\notag\\ &c^t=f_t\odot c_{t-1}+i_t\odot p_t\notag\\ &h^t=o^t\odot tanh(c_t)\tag{5.1.2}\\ \end{align}$
LSTM用加和的方式取代了乘积，解决梯度消失问题

5.3 GRU
忘记门和输入门合成了一个单一的更新门，减少参数
更新公式：

z t = σ (W z h t - 1 + U z x t + b z) r t = σ (W r h t - 1 + U r x t + b r) p t = t a n h (W p (r t ⊙ h t - 1) + U p x t + b p) h t = (1 - z t) ⊙ h t - 1 + z t ⊙ p t (5.1.3)

$\begin{align} &z^t=\sigma(W_zh_{t-1}+U_zx_t+b_z)\notag\\ &r^t=\sigma(W_rh_{t-1}+U_rx_t+b_r)\notag\\ &p^t=tanh(W_p(r_t\odot h_{t-1})+U_px_t+b_p)\notag\\ &h^t=(1-z_t)\odot h_{t-1}+z_t\odot p_t\tag{5.1.3}\\ \end{align}$