22、深度学习中的循环神经网络与图像分类

深度学习中的循环神经网络与图像分类

1. GRU与LSTM的对比

在深度学习中，GRU（门控循环单元）和LSTM（长短期记忆网络）是两种常用的循环神经网络（RNN）层。当从LSTM切换到GRU时，有以下优点和权衡：
| 对比项 | GRU | LSTM |
| ---- | ---- | ---- |
| 梯度问题 | 与LSTM一样可避免梯度消失问题，但依赖单一工作记忆，不区分长短记忆 | 能区分长短记忆 |
| 复杂度 | 较LSTM简单 | 较复杂 |
| 记忆能力 | 记忆过去信号的能力较弱，处理长序列时不如LSTM | 处理长序列有优势 |
| 训练速度 | 训练速度更快，参数少 | 训练速度相对较慢 |
| 数据适应性 | 训练数据较少时表现更好，不易过拟合 | 数据充足时更能发挥优势 |

2. 注意力机制

在处理语言问题时，注意力机制常被提及，它是解决复杂问题的有效方法，如：
- 让神经网络回答问题
- 短语分类
- 文本翻译

注意力层实现的注意力机制是表达深度神经网络处理元素重要性的权重向量。它能解决两类问题：
- 处理长词序列 ：相关词可能在序列中距离较远，注意力层可在RNN处理序列前突出关键元素。
- 处理大图像 ：图像中的多个对象可能分散神经网络注意力，注意力层可检测应处理的部分，建议RNN忽略无关元素。

在神经网络中，注意力层通常位于LSTM或GRU等循环层之后。2017年，谷歌研究人员创建了独立的注意力机制Transf