17、机器学习模型评估与超参数调优最佳实践

机器学习模型评估与超参数调优最佳实践

学习曲线与验证曲线

在机器学习中，评估模型性能是至关重要的。我们可以通过计算不同大小训练数据集的交叉验证训练和测试得分的平均准确率，并使用Matplotlib的 plot 函数绘制这些结果。还可以使用 fill_between 函数将平均准确率的标准差添加到图中，以显示估计的方差。

从学习曲线中可以看出，如果模型在训练期间看到超过250个样本，它在训练和验证数据集上的表现都相当不错。当训练数据集样本少于250个时，训练准确率会增加，而验证和训练准确率之间的差距会扩大，这表明过拟合程度在增加。

验证曲线是解决过拟合或欠拟合问题、提高模型性能的有用工具。与学习曲线不同，验证曲线不是将训练和测试准确率作为样本大小的函数进行绘制，而是改变模型参数的值。例如，在逻辑回归中，可以改变逆正则化参数 C 的值。以下是使用 scikit-learn 创建验证曲线的代码：

from sklearn.model_selection import validation_curve
param_range = [0.001, 0.01, 0.1, 1.0, 10.0, 100.0]
train_scores, test_scores = validation_curve( 
    estimator=pipe_lr, 
    X=X_train, 
    y=y_train, 
    param_name='logisticregression__C',