10、信息准则：AIC、BIC、TIC及相关理论解析

信息准则：AIC、BIC、TIC及相关理论解析

1. 信息准则概述

在统计模型选择中，我们常常会遇到多个模型，需要判断哪个模型更适合观测数据。传统的信息准则如AIC（赤池信息准则）、BIC（贝叶斯信息准则）和TIC（竹内信息准则）在这方面发挥着重要作用。同时，渡边的贝叶斯理论还提出了新的信息准则，如WAIC（渡边赤池信息准则）和WBIC（渡边贝叶斯信息准则）。

现有的信息准则大多假设真实分布相对于统计模型是规则的，但这种假设在一般情况下并不总是成立，这主要是因为它们的定义使用了最大似然估计。而WAIC虽然使用经验损失定义，但不依赖最大似然估计。在规则假设下，AIC、TIC和WAIC表现相近，WBIC作为BIC的推广，也有类似的表现。以下是各命题之间的关系：

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;

    A(Regular):::startend --> B(P. 10):::process --> C(P. 21):::process --> D(P. 24):::process
    E(Regular):::startend --> F(P. 19):::process --> D
    B --> G(P. 14):::process
    C --> H(P. 20):::process --> I(P. 2