StratifiedKFold交叉验证使用举例

交叉验证是机器学习的重要概念。在上一节中，我们把数据分成了训练数据集和测试数据集。然而，为了能够让模型更加稳定，还需要用数据集的不同子集进行反复的验证。如果只是对特定的子集进行微调，最终可能会过度拟合（overfitting）模型。过度拟合是指模型在已知数据集上拟合得超级好，但是一遇到未知数据就挂了。我们真正想要的，是让机器学习模型能够适用于未知数据。

当处理机器学习模型时，通常关心3个指标：精度（precision）、召回率（recall）和F1得分（F1 score）。可以用参数评分标准（parameter scoring）获得各项指标的得分。精度是指被分类器正确分类的样本数量占分类器总分类样本数量的百分比（分类器分类结果中，有一些样本分错了）。召回率是指被应正确分类的样本数量占某分类总样本数量的百分比（有一些样本属于某分类，但分类器却没有分出来）。一个给力的机器学习模型需要同时具备良好的精度和召回率。这两个指标是二律背反的，一个指标达到100%，那么另一个指标就会非常差！我们需要保持两个指标能够同时处于合理高度。为了量化两个指标的均衡性，引入了F1得分指标，是精度和召回率的合成指标，实际上是精度和召回率的调和均值（harmonic mean）： F1 得分＝2×精度×召回率 / (精度＋召回率)

import numpy as np
from sklearn.model_selection import StratifiedKFold
x = np.array([[1,2], [3,4], [1,2], [3,4],[5,6],[7,8]])
y = np.array([0, 0, 1, 1,1,0])
#n_splits代表几折交叉，要能被样本个数整除才行，返回的是所有的分割结果的下标，分别轮着做测试集
skf = StratifiedKFold(n_splits=3).split(x, y)
for train_index,test_index in skf:
    print('输出索引下标：')
    print(train_index,test_index)
    print('输出分割后结果：')
    print(x[train_index],y[train_index])
    print(x[test_index],y[test_index])
    print('---------------------------------')

# Cross validation and scoring functions  #交叉验证检验模型准确性
num_validations = 5
accuracy = model_selection.cross_val_score(classifier_gaussiannb, 
        X, y, scoring='accuracy', cv=num_validations)
print("准确度: " + str(round(100*accuracy.mean(), 2)) + "%")

f1 = model_selection.cross_val_score(classifier_gaussiannb, 
        X, y, scoring='f1_weighted', cv=num_validations)
print("F1得分: " + str(round(100*f1.mean(), 2)) + "%")

precision = model_selection.cross_val_score(classifier_gaussiannb, 
        X, y, scoring='precision_weighted', cv=num_validations)
print("精度: " + str(round(100*precision.mean(), 2)) + "%")

recall = model_selection.cross_val_score(classifier_gaussiannb, 
        X, y, scoring='recall_weighted', cv=num_validations)
print("召回率: " + str(round(100*recall.mean(), 2)) + "%")