19、机器学习模型评估与优化全解析

机器学习模型评估与优化全解析

1. 交叉验证与网格搜索的高级应用

在进行模型调优时，我们常常会用到交叉验证和网格搜索。除了常规的交叉验证设置，我们还可以通过传递不同的交叉验证分割器作为 GridSearchCV 中的 cv 参数。例如，对于非常大的数据集或训练速度极慢的模型，若只需将数据分割为一个训练集和一个验证集，可使用 ShuffleSplit 或 StratifiedShuffleSplit ，并将 n_iter 设为1。

1.1 嵌套交叉验证

常规的交叉验证通常是将数据分割为训练集和测试集，然后在训练集上进行交叉验证。但这种方式可能会使结果不稳定，因为它依赖于单一的数据分割。嵌套交叉验证则是在此基础上更进一步，它会进行多次交叉验证，而不是仅进行一次数据分割。

在嵌套交叉验证中，存在一个外部循环，用于将数据分割为训练集和测试集。对于每个外部分割，都会运行一次网格搜索，这可能会为每个外部分割找到不同的最佳参数。然后，针对每个外部分割，使用最佳设置在测试集上进行评分。

以下是在 scikit-learn 中实现嵌套交叉验证的代码示例：

from sklearn.model_selection import cross_val_score, GridSearchCV
from sklearn.svm import SVC
from sklearn.datasets import