26、超参数调优助力模型选择

超参数调优助力模型选择

在机器学习中，选择合适的模型并对其超参数进行调优是构建高性能模型的关键步骤。本文将详细介绍如何通过超参数调优来选择正确的模型，包括网格搜索、验证集的使用、交叉验证以及不同的评估指标等内容。

1. 评估结果的显著性

在进行模型评估时，我们可能会使用一些统计检验来判断两个分类器是否存在显著差异。例如，通过计算相关得分的总和，我们可以发现某些情况下两个分类器可能没有差异。当将这些总和输入到McNemar检验函数中时，可能会得到最大的p值（p = 1.0），这表明两个分类器在统计上是相同的。

2. 网格搜索调优超参数

网格搜索是超参数调优中最常用的工具，它本质上是通过一个for循环来尝试所有可能的参数组合。下面以k - NN分类器为例，介绍如何实现简单的网格搜索。

2.1 简单网格搜索的实现步骤

• 数据准备 ：首先，我们需要将数据集划分为训练集和测试集。以鸢尾花数据集为例，代码如下：

from sklearn.datasets import load_iris
import numpy as np
iris = load_iris()
X = iris.data.astype(np.float32)
y = iris.target
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, ra