周志华《机器学习》课后习题3.410折交叉验证法和留一法UCI实例比较

3.4选择两个UCI数据集，比较10折交叉验证法和留一法所估计出的对率回归的错误率。

利用SciKitLearn做十折交叉验证和留一法筛选

本文选用UCI提供的鸢尾花数据集和红酒产地数据集。
Iris_data鸢尾花数据集：

• 详情页面：
  http://archive.ics.uci.edu/ml/datasets/Iris
• 下载地址：
  http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data
• 数据中最后一列为鸢尾花种类，前四列为鸢尾花的花萼长度等数据。

Wine_data红酒产地数据集：

• 详情页面：
  http://archive.ics.uci.edu/ml/datasets/Wine
• 下载地址：
  http://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data
• 数据中第一列为红酒产地编号，其余列为红酒产品的理化性质。

十折交叉验证：
将数据集分成十份，轮流将其中9份作为训练数据，1份作为测试数据，进行试验。（via百度百科）

留一法：
K折交叉验证法的一个特例，每次仅留一个样本作为测试样本。（via百度百科）

KFoldK折交叉验证筛选器：
sklearn.model_selection.KFold(n_splits=’warn’, shuffle=False, random_state=None)

• n_splits:交叉验证的折数，当折数与样本数量相同时，即为留一法。
• shuffle：是否随机打乱数据，使得数据分布更均匀。

调用筛选器后，函数返回2×K个列表，即为K个（训练集样本编号列表，测试机样本编号列表）

注：
为使得问题简化为两个二分类问题。
预处理过程中剔除了第三种鸢尾花，仅保留了Iris-setosa 和Iris-versicolor两类鸢尾花。
并剔除了第三种产地的红酒，仅保留产地编号为0，1的两类红酒。
如有需要，删除相关代码即可。

Code:

from sklearn.model_selection import KFold
from sklearn.linear_model import LogisticRegression as lrs
import pandas as pd
import numpy as np

# 预处理鸢尾花数据集
iris_data = np.array(pd.read_csv('.\iris.data'))
iris_data = iris_data[iris_data[:, 4] != "Iris-virginica"]
mapper = {
   "Iris-setosa": 0, "Iris-versicolor": 1}