28、机器学习中的模型验证、超参数优化与特征工程

机器学习中的模型验证、超参数优化与特征工程

1. 学习曲线与模型性能分析

在寻找最优模型时，实际上并不一定需要计算训练分数，但研究训练分数和验证分数之间的关系，能让我们深入了解模型的性能。

模型复杂度的一个重要方面是，最优模型通常取决于训练数据的规模。例如，我们可以生成一个数据点数量是原来五倍的新数据集：

X2, y2 = make_data(200)
plt.scatter(X2.ravel(), y2);

接着，我们复制之前的代码，为这个更大的数据集绘制验证曲线，并同时绘制之前较小数据集的结果作为参考：

degree = np.arange(21)
train_score2, val_score2 = validation_curve(PolynomialRegression(), X2, y2,
                                            'polynomialfeatures__degree',
                                            degree, cv=7)
plt.plot(degree, np.median(train_score2, 1), color='blue',
         label='training score')
plt.plot(degree, np.median(val_score2, 1), color='red', label='validation score')