18、文本与序列的深度学习及循环神经网络高级应用

文本与序列的深度学习及循环神经网络高级应用

1. LSTM在情感分析中的表现

在某一任务中，使用LSTM网络达到了89%的验证准确率，这比SimpleRNN网络要好很多，主要是因为LSTM受梯度消失问题的影响较小，甚至比第3章中的全连接方法略好，尽管此次使用的数据量比第3章少，且将序列截断在500个时间步，而第3章考虑的是完整序列。

不过，对于这种计算密集型方法来说，这个结果并非突破性的。LSTM表现不佳的原因主要有：
- 未调整超参数，如嵌入维度或LSTM输出维度。
- 缺乏正则化。
- 对于情感分析问题，分析评论的全局、长期结构（LSTM擅长的）并无帮助，该问题通过查看每个评论中出现的单词及其频率就能很好地解决。但在更困难的自然语言处理问题，如问答和机器翻译中，LSTM的优势会更明显。

2. 循环神经网络基础认知

现在我们了解到：
- 什么是RNN及其工作原理。
- 什么是LSTM，以及它在处理长序列时为何比简单RNN更好。
- 如何使用Keras的RNN层处理序列数据。

3. 循环神经网络的高级应用技术

为提高循环神经网络的性能和泛化能力，有三种高级技术：
- 循环dropout：一种特定的内置方法，用于在循环层中使用dropout来防止过拟合。
- 堆叠循环层：增加网络的表示能力，但会增加计算负载。
- 双向循环层：以不同方式向循环网络呈现相同信息，提高准确性并缓解遗忘问题。

4. 温度预测问题

之前涉及的序列数据主要是文本数据，如IMDB数据集和路透社数据集，但序列数据在