19、文本和序列的深度学习及循环神经网络的高级应用

文本和序列的深度学习及循环神经网络的高级应用

1. LSTM在情感分析中的表现

在一次实验中，使用LSTM取得了高达89%的验证准确率，这比SimpleRNN网络要好很多，主要原因是LSTM受梯度消失问题的影响较小。并且，即使此次使用的数据量比之前少（将序列截断在500个时间步，而之前考虑的是完整序列），其结果仍比第3章的全连接方法略好。

不过，对于这种计算密集型的方法来说，这个结果并非突破性的。LSTM表现不佳可能有几个原因：一是没有调整超参数，如嵌入维度或LSTM的输出维度；二是缺乏正则化。但主要原因是，分析评论的全局、长期结构（这是LSTM擅长的）对情感分析问题并无帮助。这类基础问题通过查看每个评论中出现的单词及其频率就能很好地解决，这正是最初全连接方法所关注的。不过，在更具挑战性的自然语言处理问题中，如问答和机器翻译，LSTM的优势将更加明显。

2. 循环神经网络的基础知识回顾

此时，我们已经了解了以下内容：
- 什么是循环神经网络（RNN）以及它们的工作原理。
- 什么是长短期记忆网络（LSTM），以及为什么它在处理长序列时比简单的RNN表现更好。
- 如何使用Keras的RNN层来处理序列数据。

接下来，我们将回顾一些RNN的高级特性，这些特性有助于充分发挥深度学习序列模型的性能。

3. 循环神经网络的高级应用技术

为了提高循环神经网络的性能和泛化能力，我们将介绍三种高级技术，这些技术将通过一个温度预测问题来进行演示。在这个问题中，我们可以获取安装在建筑物屋顶传感器记录的时间序列数据，如温度、气压和湿度等，目的是预测最后一个数据点24小时后的温度。这是