52、时间序列预测：从ARMA模型到RNN模型的探索

时间序列预测：从ARMA模型到RNN模型的探索

1. ARMA模型家族介绍

在时间序列预测领域，ARMA（自回归移动平均）模型是一个重要的基础模型。它由Herman Wold在20世纪30年代开发，通过对滞后值的简单加权求和来进行预测，并通过添加移动平均来修正这些预测。具体来说，移动平均部分是通过对最近几个预测误差的加权求和来计算的。其预测公式如下：
[
\hat{y} t = \sum {i = 1}^{p} \alpha_i y_{t - i} + \sum_{i = 1}^{q} \theta_i \epsilon_{t - i}
]
其中，(\epsilon_t = y_t - \hat{y}_t)。在这个公式中：
- (\hat{y}(t)) 是模型对时间步 (t) 的预测值。
- (y(t)) 是时间序列在时间步 (t) 的实际值。
- 第一个求和项是时间序列过去 (p) 个值的加权和，使用学习到的权重 (\alpha_i)。(p) 是一个超参数，它决定了模型应该回顾过去多远。这个求和项是模型的自回归部分，它基于过去的值进行回归。
- 第二个求和项是过去 (q) 个预测误差 (\epsilon(t)) 的加权和，使用学习到的权重 (\theta_i)。(q) 也是一个超参数，这个求和项是模型的移动平均部分。

需要注意的是，该模型假设时间序列是平稳的。如果不是平稳的，差分可能会有所帮助。对单个时间步进行差分将产生时间序列导数的近似值，它会消除任何线性趋势，将其转换为一个常数值。例如，对序列 ([3, 5, 7, 9, 11]) 进行一步差分，得到差分序列 ([2, 2, 2, 2])。如果