8、信息准则：AIC与BIC的原理、应用与比较

信息准则：AIC与BIC的原理、应用与比较

1. 引言

从观测数据中寻找规律是一项重要的工作，在很多科学领域都有广泛应用。例如，开普勒在1596年发表的行星运动理论，用简洁的三条定律解决了当时众多的问题，这表明科学定律不仅要能解释现象（拟合度），还要足够简单（简洁性）。在统计学中，我们也面临着类似的问题，比如线性回归中如何选择合适的协变量，以平衡模型的拟合度和简洁性。本文将介绍两种常用的信息准则：赤池信息准则（AIC）和贝叶斯信息准则（BIC），并探讨它们的原理、应用和比较。

2. 信息准则概述

信息准则通常被定义为从观测数据评估统计模型有效性的指标。其中，赤池信息准则（AIC）和贝叶斯信息准则（BIC）是比较知名的。信息准则常常用于评估统计模型对数据的解释程度（拟合度）以及模型的简洁程度（简洁性）。AIC和BIC的标准基本相同，只是在平衡拟合度和简洁性的方式上有所差异。

在选择线性回归的协变量时，我们需要从大量的协变量中挑选出合适的子集。如果协变量过多，模型可能会过拟合数据，试图用其他协变量来解释噪声波动。因此，我们需要找到一个精确的子集。然而，当协变量的数量 $p$ 很大时，从 $2^p$ 个子集中选择合适的子集是一项具有挑战性的任务，因为 $2^p$ 会随着 $p$ 的增加而呈指数增长。

我们可以用基于子集 $S$ 的残差平方和（RSS）值 $RSS(S)$ 以及子集 $S$ 的基数 $k(S) := |S|$ 来表示拟合度和简洁性。一般来说，$S \subseteq S’$ 意味着 $RSS(S) \geq RSS(S’)$ 且 $k(S) \leq k(S’)$，即 $k = k(S)$ 越大，$\hat{\sigma}