如何判断欠拟合、适度拟合、过拟合

可以通过查看训练集误差和验证集误差，从而判断算法达到什么效果。通过衡量训练集和验证集的误差就可以得出不同结论。

1.欠拟合：

假定训练集误差是 15%，验证集误差是 16%。这样则说明算法并没有在训练集中得到很好的训练，如果训练集数据的拟合度不高，就是数据欠拟合，就可以说这种算法偏差比较高。也就是我们说的没有训练好。
相反，它对于验证集产生的结果是合理的，验证集中的错误率只比训练集的多了 1%，所以这种算法偏差高，因为它甚至不能拟合训练集。就更别提验证集了。

训练集和验证集的误差都较高，但相差很少——>欠拟合

2.适度拟合

训练集误差是 0.5%，验证集误差是 1%，这样的结果偏差和方差都很低，说明训练效果很好，这是我们想要的结果。

训练集和验证集的误差都很低——>适度拟合

3.过拟合

假定训练集的误差是 1%，验证集误差是 11%，可以看出训练集训练的非常好，而验证集很差，从而可以判断可能过度拟合了训练集，在某种程度上，验证集并没有充分利用交叉验证集的作用，这就是过拟合现象，也称为“高方差”。

训练集误差较低，验证集误差比训练集大较多——>过拟合

4.最差的情况

训练集误差是 15%，偏差相当高，但是，验证集的评估结果更糟糕，错误率达到 30%，这样说明算法偏差高，因为它在训练集上结果不理想，而且方差也很高，这是方差偏差都很糟糕的情况。这是我们最不想看到的情况。

参考：吴恩达的深度学习视频

作者：GL3_24
来源：优快云
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。