【机器学习的一些问题】模型评估之检验方法

Holdout检验

将原始数据集随机划分为训练集和验证集。评估指标与原始分组有很大关系。

 

交叉检验

k-fold交叉验证：划分为k个大小相等的样本子集，依次遍历子集，当前子集为验证集其余为训练集，最终将K次评估指标平均值作为最终评估指标。

留一验证：每次留下一个样本作为验证集，其余所有样本为测试集。样本数为n的情况下需遍历n次评估n次，时间开销极大。可视为留 p验证的特例。

 

自助法

基于自主采样法的检验方法，对于总数为n的样本集合，进行n次有放回的随机抽样，得到大小为n的训练集。抽到的就作为训练集，它们可能重复；没抽到的即为验证集。