53、时间序列预测：RNN模型的深入应用与优化

时间序列预测：RNN模型的深入应用与优化

1. 简单RNN模型的局限性与改进

1.1 简单RNN模型的问题

简单RNN模型仅包含单个循环神经元，在每个时间步进行预测时，它能使用的数据仅为当前时间步的输入值和上一个时间步的输出值，这使得其记忆能力极其有限，仅仅是一个单一的数值（即上一个输出）。而且，由于只有一个循环神经元且只有两个输入值，整个模型仅包含三个参数（两个权重和一个偏置项），对于时间序列预测来说，这些参数远远不够。相比之下，之前的模型可以一次性查看前56个值，并且总共有57个参数。

此外，时间序列的值范围在0到约1.4之间，但由于默认的激活函数是tanh，循环层只能输出 -1 到 +1 之间的值，因此无法预测1.0到1.4之间的值。

1.2 改进方案

为了解决上述问题，我们创建了一个包含32个循环神经元的更大的循环层模型，并在其顶部添加一个具有单个输出神经元且无激活函数的密集输出层。代码如下：

import tensorflow as tf

univar_model = tf.keras.Sequential([
    tf.keras.layers.SimpleRNN(32, input_shape=[None, 1]),
    tf.keras.layers.Dense(1)  # no activation function by default
])

编译、拟合和评估该模型后，其验证MAE达到27,703，这是目前训练过的最佳模型，甚至超过了SARIMA模型。

2. 深度