17、机器学习模型评估与超参数调优最佳实践

机器学习模型评估与超参数调优最佳实践

1. 学习曲线与模型表现

首先，我们计算了不同大小训练数据集的交叉验证训练和测试分数的平均准确率，并使用Matplotlib的 plot 函数进行绘制。同时，使用 fill_between 函数将平均准确率的标准差添加到图中，以显示估计的方差。

从学习曲线可以看出，如果模型在训练过程中见过超过250个示例，它在训练集和验证集上的表现都相当不错。当训练数据集的示例少于250个时，训练准确率会增加，而验证准确率与训练准确率之间的差距会扩大，这表明过拟合程度在增加。

2. 使用验证曲线解决过拟合和欠拟合问题

验证曲线是一种通过解决过拟合或欠拟合等问题来提高模型性能的有用工具。它与学习曲线相关，但不是将训练和测试准确率作为样本大小的函数进行绘制，而是改变模型参数的值，例如逻辑回归中的逆正则化参数 C 。

以下是使用scikit-learn创建验证曲线的步骤：
1. 导入必要的库：

from sklearn.model_selection import validation_curve
import numpy as np
import matplotlib.pyplot as plt

2. 定义参数范围：

param_range = [0.001, 0.01, 0.1,