21、超参数与模型验证：从基础到实践

超参数与模型验证：从基础到实践

1. 监督机器学习模型的基本流程

在应用监督机器学习模型时，有一个基本的操作流程：
1. 选择模型类别
2. 选择模型超参数
3. 将模型拟合到训练数据上
4. 使用模型为新数据预测标签

其中，选择模型和超参数是有效使用这些工具和技术的关键部分。为了做出明智的选择，我们需要一种方法来验证模型和超参数是否适合数据。

2. 模型验证的思考

从原理上讲，模型验证很简单：选择模型和超参数后，将其应用于部分训练数据，比较预测值和已知值，以此评估模型的有效性。下面先介绍一种简单但有缺陷的验证方法，然后探讨更可靠的留出集和交叉验证方法。

2.1 错误的模型验证方法

以鸢尾花数据集为例，展示简单验证方法的问题。

from sklearn.datasets import load_iris 
iris = load_iris() 
X = iris.data 
y = iris.target 

from sklearn.neighbors import KNeighborsClassifier 
model = KNeighborsClassifier(n_neighbors=1) 

model.fit(X, y) 
y_model = model.predict(X) 

from sklearn.metrics import accuracy_score 
accuracy_score(y, y_model) 

运行上述代码后，得到的