27、变量选择方法与实践

变量选择方法与实践

1. 变量选择的基础概念

在进行模型构建时，变量选择是一个关键环节。对于固定的样本数量 (n) 和总体分布，存在一个最优的预测变量数量 (p_{opt}(n))，虽然其值未知，但我们的模型选择过程实际上就是在估计这个值。

在选择训练集大小 (r) 时，需要考虑两个方面：
- 如果 (r) 过小，我们实际上是在估计 (p_{opt}(r)) 而非 (p_{opt}(n))，当 (r) 远小于 (n) 时，这可能会成为一个问题。
- 如果 (r) 过大，测试集（包含 (n - r) 个观测值）会变小，从而导致预测准确性的度量具有较高的变异性。

为了解决这些问题，引入了 (m) 折交叉验证的方法。我们将数据随机分成 (m) 个大致相等的子集，令 (r) 约为 (n/m)。对于较小的 (m)，(r) 会接近 (n)，解决了上述第一个问题；而对于较大的 (m)，由于我们会考虑 (m) 种划分方式，第二个问题中的变异性问题可能会得到改善。但需要注意的是，这只是一个粗略的分析，因为对于较大的 (m)，每个子集的估计值会有更高的方差。

2. 变量选择并非万能

基于交叉验证、AIC 等方法选择预测变量子集并非万无一失。由于稀有事件频繁发生原则，某些子集可能看起来很好，但实际上可能是假象。理论上已经证明，留一法（LOOM）在统计上并不一致。虽然有研究找到了通过留 (w) 个样本（而不是 1 个）来实现一致性的条件（当 (w/n \to 1) 时），但其实践意义并不明确。此外，也有研究对交叉验证提出了实证质疑。

3. 常见变量选择方法

3.1 简单使用 (p) 值的陷阱 <