62、变量选择的传统标准与交叉验证方法解析

变量选择的传统标准与交叉验证方法解析

在变量选择领域，有多种标准和方法可供使用，它们各有特点和适用场景。本文将详细介绍信息准则的选择、交叉验证的原理和不同类型，以及相关的一致性定理。

1. 信息准则的选择

在变量选择中，不同的信息准则有不同的应用场景。常见的有 AIC 和 BIC，它们实际上是 (10.2.1) 中 φ 不同选择的体现。只要 φ(n) = o(n)， (10.2.6) 似乎就成立，但关键问题是 φ 要多大才能保证一致性和一定的效率。

1.1 AIC 与 BIC 的比较

• 适用场景 ：大致来说，如果真实模型简单或为有限维，应使用像 BIC 这样惩罚较重的准则；如果真实模型复杂或为无限维，则应使用像 AIC 这样惩罚较小的准则。高复杂度惩罚有助于识别模型，而低复杂度惩罚有助于预测。
• 抽样分布特性 ：AIC 和 BIC 的抽样分布 IPA 和 IPB 特性不同。通常，IPA 比 IPB 更分散，这意味着随着样本量 n 增加，AIC 识别正确模型的速度比 BIC 慢，但 AIC 的相对低效使其更具鲁棒性，更适合预测等其他目的。
• 模型空间问题 ：如果模型空间 M 包含固定维度的正确模型（即问题是 M - 封闭的），BIC 的一致性使其优于 AIC；但如果真实模型不在模型空间中，且相同维度的模型数量随维度增长不快，AIC 选择的模型的平均平方误差渐近等价于候选模型能提供的最小误差，而 BIC 不具备此特性。
• 两者的不可兼得性