18、文本和序列的深度学习及循环神经网络的高级应用

文本和序列的深度学习及循环神经网络的高级应用

1. LSTM在情感分析中的表现

在一次实验中，我们使用LSTM网络进行情感分析，最终获得了高达89%的验证准确率。这个结果相当不错，明显优于SimpleRNN网络，这主要是因为LSTM在很大程度上缓解了梯度消失问题。与第3章中的全连接方法相比，虽然此次使用的数据量更少（此次在500个时间步后截断序列，而第3章考虑的是完整序列），但准确率仍稍有提高。

不过，对于这种计算密集型的方法而言，这个结果并不具有突破性。LSTM表现不佳可能有以下几个原因：一是没有对超参数（如嵌入维度或LSTM输出维度）进行调优；二是缺乏正则化；但最主要的原因是，分析评论的全局、长期结构（这正是LSTM擅长的）对于情感分析问题并无太大帮助。这种基础问题通过查看每个评论中出现的词汇及其频率就能很好地解决，这也是最初全连接方法所采用的方式。但在更具挑战性的自然语言处理问题（如问答系统和机器翻译）中，LSTM的优势将更加明显。

在这个阶段，我们已经了解了以下内容：
- RNN的概念及其工作原理。
- LSTM的定义，以及它在处理长序列时比简单RNN更有效的原因。
- 如何使用Keras的RNN层来处理序列数据。

接下来，我们将探讨RNN的一些高级特性，这些特性有助于充分发挥深度学习序列模型的性能。

2. 循环神经网络的高级应用：温度预测问题

2.1 温度预测问题概述

此前我们接触的序列数据主要是文本数据，如IMDB数据集和路透社数据集。但序列数据广泛存在于众多领域，不仅仅局限于语言处理。在接下来的示例中，我们将使用德国耶拿马克斯·普朗克生物地球化学研究