11、使用交叉验证进行模型评估与选择

使用交叉验证进行模型评估与选择

1. 交叉验证概述

在之前的实践中，使用训练集/测试集方法对深度学习模型进行评估时，得到的准确率为 76.623%。然而，当对相同的深度学习模型和数据集进行 5 折交叉验证时，准确率有所不同。这是因为训练集/测试集方法仅使用了数据点的一个子集来计算测试误差率，而交叉验证则包含了所有数据点进行评估，因此对模型性能的估计更加准确和稳健。

交叉验证不仅可以用于改进模型评估，还可以用于为特定问题选择最佳模型或参数。

2. 模型评估与选择中交叉验证的差异

以下是三种模型评估方法的误差率估计情况：
| 评估方法 | 误差率估计特点 |
| ---- | ---- |
| 在训练集上评估 | 会低估模型在未见过示例上的误差率 |
| 训练集/测试集分割 | 能更准确地估计模型性能，但存在高方差问题 |
| 交叉验证 | 对模型在未见过示例上的性能估计更加稳健和准确 |

下面是这三种方法误差率估计的示意图：

graph LR
    A[训练集评估] --> B(误差率低估)
    C[训练集/测试集分割] --> D(更准确但高方差)
    E[交叉验证] --> F(更稳健准确)

3. 使用交叉验证进行模型选择

由于交叉验证能对模型在未见过示例上的性能进行稳健估计，因此可以用于在两个模型中进行选择，或者确定特定问题应使用的模型参数（或超参数）。我们的目标是找出导致最低测试误差率的模型或参数组合。