24、神经网络单元与结构详解

神经网络单元与结构详解

1. 神经网络单元

1.1 LSTM单元

在相关模型里，$t$ 代表时间步，$c_t$ 是记忆单元，$i_t$ 为输入门，$o_t$ 是输出门，$f_t$ 是遗忘门，$x_t$ 是输入，$h_t$ 是输出。这些参数的表达式如下：
- $f_t = \sigma (W_f x_t + U_f h_{t - 1} + b_f)$
- $i_t = \sigma (W_i x_i + U_i h_{t - 1} + b_i)$
- $\tilde{c} t = \tanh (W_c x_t + U_c h {t - 1} + b_c)$
- $c_t = f_t * c_{t - 1} + i_t * \tilde{c} t$
- $o_t = \sigma (W_o x_t + U_o h {t - 1} + b_o)$
- $h_t = o_t * \tanh (c_t)$

这里的 $W$ 和 $b$ 分别是参数矩阵和向量。记忆单元负责在任意时间间隔内记忆信息，而输入、输出和遗忘门则负责调节进入和离开记忆单元的信息。基于LSTM单元的LSTM网络能够处理序列信息。

1.2 门控循环单元（GRU）

GRU是循环神经网络的一种门控机制，也可视为长短期记忆（LSTM）单元的变体。它由Kyunghyun Cho等人在2014年提出。其结构与带有遗忘门的LSTM单元类似，但比LSTM少一个输出门，并且将遗忘门和输入门合并为一个更新门，还将记忆单元和隐藏状态合并，使得模型比标准LSTM模型更简单。

在