python k折交叉验证,python中sklearnk折交叉验证

python中sklearnk折交叉验证

发布时间：2018-06-10 11:09,

浏览次数：492

, 标签：

python

sklearnk

1.模型验证回顾

进行模型验证的一个重要目的是要选出一个最合适的模型，对于监督学习而言，我们希望模型对于未知数据的泛化能力强，所以就需要模型验证这一过程来体现不同的模型对于未知数据的表现效果。

最先我们用训练准确度(用全部数据进行训练和测试)来衡量模型的表现，这种方法会导致模型过拟合；为了解决这一问题，我们将所有数据分成训练集和测试集两部分，我们用训练集进行模型训练，得到的模型再用测试集来衡量模型的预测表现能力，这种度量方式叫测试准确度，这种方式可以有效避免过拟合。

测试准确度的一个缺点是其样本准确度是一个高方差估计(high variance estimate)，所以该样本准确度会依赖不同的测试集，其表现效果不尽相同。

交叉验证的过程

* 选择K的值(一般是10)，将数据集分成K等份

* 使用其中的K-1份数据作为训练数据，另外一份数据作为测试数据，进行模型的训练

* 使用一种度量测度来衡量模型的预测性能

交叉验证的优点

* 交叉验证通过降低模型在一次数据分割中性能表现上的方差来保证模型性能的稳定性

* 交叉验证可以用于选择调节参数、比较模型性能差别、选择特征

交叉验证的缺点

* 交叉验证带来一定的计算代价，尤其是当数据集很大的时候，导致计算过程会变得很慢

高方差估计的例子

下面我们使用iris数据来说明利用测试准确度来衡量模型表现的方差很高。

from sklearn.model_selection import train_test_split from sklearn.datasets

import load_iris from sklearn.neighbors import KNeighbors