2.2 评估方法 机器学习

我们若有一个包含m个样例的数据集，若我们既需要训练，也需要测试，我们该如何处理呢？下面是几种方法：

2.2.1 留出法

“留出法”直接将数据集D划分为两个互斥的集合，其中一个作为训练集S，另一个作为测试集T。在S上训练出模型后，用T来评估其测试误差，作为对泛化误差的估计。

需要注意的是，训练/测试集的划分要尽可能保持数据分布的一致性，避免因数据划分过程引入额外的偏差而对最终结果产生影响。比如在分类任务中至少要保持样本的类别比例相似。如果从采样角度来看待数据集的划分过程，则保留类别比例的采样方式通常称为“分层采样”。若S、T中样本类别比例相差很大，则误差估计将由于训练\测试数据分布的差异而产生偏差。

另一个需要注意的是，即使我们划分的很合理，由于每次数据的偶然性，往往不同的划分得到的结果不同，所以单次使用留出法得到的结果往往不可靠，在使用留出法时，一般要采用若干次随机划分、重复进行试验评估后取平均值作为留出法的评估结果。例如进行100次随机划分，每次产生一个训练\测试集用于实验评估，100次后就得到100次结果，而留出法是返回这100次结果的平均。

此外，我们希望的是用D训练出来的模型的性能，但是由于我们的留出法会划分的原因，倘若我们的S过大，我们的T就比较小，导致模型评估不准确，但是倘若以S过小，我们的训练与原本D的差别就更大了。对于这样的问题，我们常见的做法是大约将2/3~4/5的样本用于训练，剩余样本用来测试。

2.2.2 交叉验证法

“交叉验证法”先将数据集D分为k个大小相似的互斥子集。即