17、AR模型阶数选择与信息准则：原理、应用与优化

AR模型阶数选择与信息准则：原理、应用与优化

在时间序列分析中，AR（自回归）模型的阶数选择是一个关键问题，它直接影响模型的准确性和预测能力。本文将深入探讨AR模型阶数选择的相关理论和方法，包括信息准则、Kullback-Leibler差异以及惩罚因子的选择等内容。

1. AR模型阶数选择的基本概念

在时间序列分析中，AR模型的阶数选择至关重要。通过对100个AR(5)观测值进行2000次模拟运行，得到了残差方差、AIC（赤池信息准则）和FIC（有限信息准则）的平均值与AR模型阶数的关系。结果表明，若允许阶数高于N/2的候选模型，AIC的全局最小值会出现在高阶；而FIC(p,2)的平均值的全局最小值在阶数为5时出现，且与最高候选阶数无关。

更一般的有限样本准则FIC(p, D)的表达式为：
[FIC(p, D) = \ln s_p^2 + D \sum_{i = 0}^{p} v_i]

在时间序列文献中，大部分注意力都集中在AR过程上，因此大多数推导都是针对AR模型进行的。目前，阶数选择准则主要基于预测误差中残差方差的变换，其本质是寻找最佳预测模型。此外，Kullback（1959）的统计理论也为阶数选择提供了有力的支持，Akaike（1974）曾提及该理论与Mallows（1973）回归理论的关系。

2. Kullback-Leibler差异

Kullback-Leibler信息度量I(q; f)用于描述两个概率密度函数之间的差异，可用于评估真实概率密度函数f(x)和估计概率密度函数q(x)之间的差异。其定义为：
[I(q; f) = E\left[\ln \frac{f(x)}{q(x)}\r