57、深度学习：RNNs 与 LSTM 详解

深度学习：RNNs 与 LSTM 详解

在深度学习领域，循环神经网络（RNNs）及其变体长短期记忆网络（LSTM）是处理序列数据的强大工具。本文将深入探讨 RNNs 和 LSTM 的原理、应用、训练方法以及它们在解决实际问题中的表现。

1. 简单 RNN 的强大与局限

简单 RNN 具有强大的表示能力，在一定假设下，甚至能够用少量固定单元模拟图灵机。然而，其在实际应用中存在局限性，尤其是难以从数据中学习长期依赖关系。这是因为简单 RNN 在反向传播过程中，梯度容易消失或爆炸，导致难以学习到序列中远距离的依赖信息。

2. 更通用的循环神经网络

更一般地，RNN 通常通过一组参数 $\theta$ 将输入序列 $x_1, \cdots, x_T$ 映射到隐藏状态序列 $h_1, \cdots, h_T$，公式为：
$h_t = f (h_{t - 1}, x_t, \theta)$
这里的 $f$ 不是简单的激活函数，例如在 LSTM 中，$f$ 是包含各种门控和非线性操作的组合。

RNN 是构建复杂模型的基础模块，可以通过多次应用上述公式构建深度 RNN。例如，先将 RNN 应用于观测输入，得到隐藏状态序列，再将这些隐藏状态作为输入传递给另一个 RNN，以此类推。

3. RNN 的建模应用

RNN 适用于多种建模场景，下面介绍几种常见的模型类型。

3.1 判别式序列模型

• 单输出判别模型 ：例如根据患者的一系列测量数据预测肿瘤恶性的概率 $p(y_T | x_1, \cdots, x