交叉验证

交叉验证

通常情况下，大多使用的是简单交叉验证，其主要思想：
1、将全部数据集按一定比例分成训练集和测试集
2、利用训练集进行训练，得到分类模型（假设函数）
3、利用测试集验证第二步得到的训练模型的正确率
4、选择正确率最高的模型
优点：训练集与测试集是分开的，过拟合情况能有效避免。

K折交叉验证

主要思想（步骤）：
1、将全部数据集D分为K个不相交的子集，不妨记为（si，1=

留一法

本质是K折交叉验证的极端表现
思想：
每次只留下一下样本作为测试集，其余样本作为训练集。剩下与K折交叉验证一致。
总结：样本利用率很高，适合小样本的情况；容易发生过拟合的情况。