10、循环神经网络与时间序列预测技术详解

循环神经网络与时间序列预测技术详解

循环神经网络不同模型介绍

在处理序列数据时，循环神经网络（RNN）是一种非常有效的工具。下面将详细介绍几种不同类型的RNN模型及其应用。

1. 简单RNN的问题与改进需求

我们在TensorFlow中实现了基本的RNN模型，但在训练过程中发现验证损失增加，这是明显的过拟合迹象。为了解决这些问题，我们需要更复杂的模型。

2. 门控循环单元（GRU）

• 原理 ：GRU由Cho等人在2014年提出，解决了标准循环神经网络中的梯度消失问题。它是LSTM的一种变体，通过更新门和重置门来决定信息的传递和遗忘。
  • 更新门 ：计算公式为 (Z_t = S(W^{(z)} x_t + U^{(z)} h_{t - 1}))。当输入 (x_t) 进入网络单元时，乘以权重 (W^{(z)})，前一时刻的隐藏状态 (h_{t - 1}) 乘以权重 (U^{(z)})，然后将结果相加，再通过Sigmoid激活函数得到0到1之间的值。
  • 重置门 ：计算公式为 (r_t = S(W^{(r)} x_t + U^{(r)} h_{t - 1}))，与更新门公式类似，但权重和用途不同，主要用于决定遗忘多少过去的信息。
  • 当前内存内容 ：计算步骤如下：
    1. 将输入 (x_t) 乘以权重 (W)，(h_{t - 1}) 乘以权重 (U)。
    2. 计