11、信息准则：AIC、WAIC、自由能、BIC 与 WBIC 详解

信息准则：AIC、WAIC、自由能、BIC 与 WBIC 详解

在统计学和机器学习领域，信息准则是评估模型性能和进行模型选择的重要工具。本文将详细介绍几种常见的信息准则，包括 AIC（赤池信息准则）、WAIC（广域信息准则）、自由能、BIC（贝叶斯信息准则）和 WBIC（广域贝叶斯信息准则），并通过具体的例子和代码展示它们的计算方法和应用。

1. AIC（赤池信息准则）

AIC 是一种常用的模型选择准则，用于衡量模型的拟合优度和复杂度之间的平衡。在排除 (o(1/n)) 项后，AIC 的表达式为：
[AIC = \frac{1}{2} \log(2\pi e) + \frac{1}{2} \log \hat{\sigma}^2(x_1, \ldots, x_n) + \frac{3}{2n}]
其中，(\hat{\sigma}^2(x_1, \ldots, x_n)) 是样本的方差估计。在多元回归的一般情况下，当有 (p) 个变量时，AIC 的表达式为：
[AIC = \frac{1}{2} \log(2\pi \hat{\sigma}^2 e) + \frac{2p + 3}{2n}]
在使用 AIC 进行变量选择时，我们需要最小化 AIC 值，即：
[\min_{0 \leq d \leq p} AIC(d) = \frac{1}{2} \log(2\pi \hat{\sigma}^2 e) + \frac{2d + 3}{2n}]

2. WAIC（广域信息准则）

WAIC 是一种基于贝叶斯理论的信息准则，它不依赖于最大似然估计，因此在非正则情况下也能表现良好。在定义 WAIC 之前，我们需要了解一些相