从0开始学习机器学习--Day19--学习曲线

一般来说，如果一个算法的表现不理想，那么多半是因为出现了欠拟合或过拟合问题，这种时候我们要做的就是搞清楚出现的是偏差问题还是方差问题，亦或是二者皆有，这有助于我们精准定位问题所在。

之前，我们发现假设函数多项式的次数越高，代价函数的误差就越小，假设我们把多项式的次数作为横坐标，训练集代价函数的误差为纵坐标画图，呈现出来的应该是随着横坐标增大纵坐标不断减小的图像：

随着多项式次数增加两种代价函数的变化情况

但如果换做是验证集的假设函数，图像又有所不同。可以看到在 的时候，其误差确实小了，这反映的是其预测值和实际值之间的误差变小，但当 时，出现了过拟合的情况，此时预测值与实际值之间的差又变大，所以其曲线又往上升而不是继续下降，这进一步地说明了为什么我们采用验证集的参数而不是直接用训练集的。

也就是说，通过比较训练集和验证集代价函数的误差，可以确定到底是出现了什么问题。假如两者都很大且两者差值较小，则说明式出现了高偏差、欠拟合的情况，应该适当增大多项式的次数；如果训练集的误差远远小于验证集的误差，则说明出现了高方差、过拟合的情况，需要适当减小多项式