22、深度学习中的循环神经网络与图像分类

深度学习中的循环神经网络与图像分类

1. 循环神经网络中的 LSTM 与 GRU

在处理序列数据时，长短期记忆网络（LSTM）和门控循环单元（GRU）是两种常用的循环神经网络（RNN）变体。GRU 可以像 LSTM 一样处理信号，并有可能避免梯度消失问题。不过，GRU 依赖于单一的工作记忆，即通过 GRU 单元反复处理的单元状态，因此它无法区分长记忆和短记忆。

1.1 GRU 与 LSTM 的对比

对比项	GRU	LSTM
复杂度	较简单	较复杂
记忆能力	较弱，处理长序列时 LSTM 更具优势	较强，适合处理长序列
训练速度	较快，参数较少	较慢，参数较多
数据适应性	数据较少时表现更好，不易过拟合	-

1.2 注意力机制

在处理语言问题时，注意力机制常被提及，它被认为是解决复杂问题（如问答、短语分类、文本翻译等）的最有效方法。注意力层是实现注意力机制的向量，它表达了深度神经网络处