15、模型评估：方法、实践与应用

模型评估：方法、实践与应用

1. 模型评估基础

在模型评估中，我们的目标是找到一个能在整个数据宇宙中表现良好的模型。通常，我们会关注训练误差和测试误差。当模型复杂度增加时，训练误差往往会降低，但这并不意味着模型在实际应用中会有更好的表现。实际上，当模型复杂度超过最优模型 ˆfP [k∗, λ∗, C∗] 时，模型会开始过拟合，即在测试集上的表现变差。

这是因为过拟合的模型能够捕捉训练数据中的一些特殊结构，但这些结构在测试集中并不存在，从而导致模型无法很好地泛化到新的数据上。因此，在评估模型性能时，我们应该关注测试误差，而不是仅仅追求训练误差的最小化。

2. 模型评估方法

2.1 留一法（Leave-One-Out Method）

留一法是一种减少数据随机分割偏差的方法。具体步骤如下：
1. 将数据集 D 分割成 l 个大小为 1 的分区，即 D = Q1 ∪ Q2 ∪ · · · ∪ Ql−1 ∪ Ql，且 Qi ∩ Qj = ∅。
2. 每个分区 Qi 用于测试一次，其余分区用于训练。
3. 计算每个测试分区的误差 errQi：
- errQi(ˆfPi[k, λ, C]) = L(yi, ˆfPi k, λ, C )
- 其中 ˆfPi[k, λ, C] 是在数据集 Pi = D - Qi 上训练的模型。
4. 计算留一法误差（LOOE）：
- LOOED[k, λ, C] = (1/l) * ∑(i = 1 to l) errQi(ˆfPi[k, λ, C])
5. 找到使 LOO