11、使用交叉验证进行模型评估与选择

使用交叉验证进行模型评估与选择

1. 交叉验证概述

在模型评估中，不同的方法会得出不同的结果。例如，在之前的一个回归问题中，训练集/测试集方法得到的准确率为76.623%，但在相同的深度学习模型和数据集上进行5折交叉验证时，准确率低于此数值。这是因为训练集/测试集方法仅使用了部分数据点来计算测试误差率，而交叉验证则包含了所有数据点进行评估，因此其对模型性能的估计更加准确和稳健。

交叉验证不仅可以用于模型评估，还能用于为特定问题选择最佳模型或参数。通过交叉验证，我们可以对模型在未见过的数据上的性能进行稳健估计，从而选择出测试误差率最低的模型或参数组合。

2. 三种模型评估方法对比

评估方法	误差率估计特点	优缺点
在训练集上评估	会低估模型在未见过数据上的误差率	优点：简单直接；缺点：误差率估计不准确
训练集/测试集分割	能更准确地估计模型性能，但存在高方差问题	优点：相对准确；缺点：误差率受测试集数据影响大
交叉验证	对模型在未见过数据上的性能进行更稳健和准确的估计	优点：误差率估计准确且稳健；缺点：计算成本较高