28、循环神经网络（RNN）及其变体与应用详解

循环神经网络（RNN）及其变体与应用详解

1. RNN 变体

RNN 有多种变体，通过调整层间连接和增加隐藏层得到。下面介绍三种典型的 RNN 变体：
- 双向循环神经网络（BRNN）
- 结构 ：具有双隐藏层，一个用于计算输出节点值，另一个用于计算输入节点值。
- 公式计算 ：
- 输出节点值：$\hat{y} i = \tanh(w^r_i \cdot h^r_i)$
- 输入节点值：$\hat{x}_i = \tanh(w^l_i \cdot h^l_i)$
- 隐藏节点值 $h^r_i$：$h^r_i = \tanh(w^{hr}_i \cdot h^r {i - 1} + w^{1r} i \cdot x_i)$
- 隐藏节点值 $h^l_i$：$h^l_i = \tanh(w^{hl}_i \cdot h^l {i + 1} + w^{1l} i \cdot y_i)$
- 用途 ：用于对时间序列之间的双向关系进行建模。
- 多层循环神经网络
- 结构 ：有多个隐藏层。
- 公式计算 ：
- 第一个隐藏层的隐藏节点值 $h {1i}$：$h_{1i} = \tanh(w^1_i \cdot x_i + w^{1h} i \cdot h {1(