k折交叉验证法_K折交叉检验法及其Python代码实现

在机器学习的建模工作中，首先会将数据集分为训练集和测试集，在训练集上对模型进行训练以及参数的调优，在测试集上对模型进行评估，但是测试集的选择会对模型的效果产生影响，在随机切分训练集/测试集的情况下，可能刚好选择了比较容易预测的数据点作为测试集，所以采用交叉验证（cross validation）的方式，通过获取模型在多个测试集上的平均效果来总体评估模型的效果。

而交叉验证中常用的方法K折交叉检验法（k-fold cross validation）用于模型调优，可以缓解过拟合现象的产生，具体实现方法：

将样本数据集分为k组大小相似的互斥子集，每次抽取出k份中的一份作为测试集，剩下来的k-1份作为训练集，尽量保证每个子集数据分布的一致性。依次得到测试结果S1,S2,...,Sk,然后求其平均值得到模型在多个测试集上的平均效果，用求得的平均值评估模型的总体效果。

（图中红色的部分为每次从样本数据集中抽取出来作为测试集的部分。）

import 

第一步是导入模块和加载数据。

# 测试集和训练集的拆分
# 将输入模型的特征x和目标属性Y切分出来
X = df1.iloc[:,2:4] 
Y = df1.iloc[:,5]


#数据分为 训练集 和 测试集
kf = KFold(n_splits = 10)
for train,valid in kf.split(X):
    print("train:%s,valid:%s"%(train,valid))

这里K = 10，由此获取到了10组训练集+测试集，大大缓解了过拟合现象的产生。