29、工程师的统计学习：时间序列分析全解析

工程师的统计学习：时间序列分析全解析

1. 自回归移动平均模型（ARMA）参数估计与信息准则

在分析来自 AR(3) 过程的 120 个数据时，AICₚ 和 BICₚ 展现出不同特性。AICₚ 在其最小值附近波动，这使得它通常更容易在比必要阶数稍大的情况下偶然达到最小值。

对于一般 ARMA 模型的参数估计，由于创新项 εₛ 无法直接观测，使用最小二乘法会稍显复杂。不过，我们可以建立类似的递归来同时计算创新项的近似值 $\hat{\varepsilon} s$ 和参数估计值 $\hat{a}_k$、$\hat{b}_k$。所达到的最小值即为 $\sigma {\varepsilon}^2$ 的估计值。

通过采用类似于 Levinson - Durbin 递归的方法，可以同时计算 ARMA(p, q) 模型在一系列 p 和 q 值下的参数估计。此时，AIC 和 BIC 与纯自回归情况类似，只是右侧的因子 p 被替换为 p + q。

在实际应用中，常常会同时观测多个时间序列，这些序列可被建模为多元随机过程。高维时间序列也有相应的 AR 和 ARMA 模型，但这些模型的表示较为复杂。需要注意的是，多元 ARMA 模型存在不可识别性问题，即不同的模型和参数集可能描述相同的随机过程，这可能给估计和预测带来麻烦。

2. 统计学习中的非线性时间序列

许多之前介绍的统计学习方法可应用于时间序列分析，特别是预测问题。这里主要关注单变量时间序列 $Z_t$，其中 t = 1, …, T。假设该序列是平稳时间序列的一部分，且具有弱依赖性，即对于足够大的 s > 0，$Z_t$ 和 $Z_{t - s}$ 会迅速