16、模型选择与验证：原理、方法及应对策略

模型选择与验证：原理、方法及应对策略

1. 验证的基本原理与界限

在学习过程中，我们可以依据学习的基本定理得到一个界限：
[L_D(h) \leq L_S(h) + \sqrt{\frac{C d + \log(1/\delta)}{m}}]
其中，(C) 是学习基本定理中出现的常数。与之对比，从另一个定理我们能得到不同的界限：
[L_D(h) \leq L_V(h) + \sqrt{\frac{\log(2/\delta)}{2m_v}}]
当我们让 (m_v) 与 (m) 处于同一量级时，能得到一个更精确的估计，其精确程度与 VC 维有关。不过，使用这种估计的代价是，除了用于训练学习者的样本外，还需要额外的样本。

抽样一个训练集，然后再抽样一个独立的验证集，这等同于将我们的随机示例集随机划分为两部分，一部分用于训练，另一部分用于验证。因此，验证集通常也被称为保留集。

2. 用于模型选择的验证

验证自然可以用于模型选择，具体步骤如下：
- 首先，在给定的训练集上训练不同的算法（或使用不同参数的同一算法）。设 (H = {h_1, \ldots, h_r}) 是不同算法输出的所有预测器的集合。例如，在训练多项式回归器时，每个 (h_r) 可以是 (r) 次多项式回归的输出。
- 然后，为了从 (H) 中选择一个单一的预测器，我们抽样一个新的验证集，并选择在验证集上误差最小的预测器。也就是说，我们在验证集上应用经验风险最小化（ERM）规则。

这个过程与学习一个有限假设类非常相似，唯一的区别是 (H) 不是提前固定的，而是依赖于训练集。不过，由于验证集与训练集相互独立，它也与 (H