深度学习之过拟合
过拟合&欠拟合
过拟合:在训练集上表现很好,但在测试集上表现不佳。
欠拟合:训练集上表现不行,测试集上表现也不行。
导致过拟合的原因
1、模型太复杂:模型过于复杂,以至于可以完全记住训练集上的数据,不需要去学习。
2、数据不够多:数据少,容易被记住。
李宏毅老师图:
Bias代指偏差,期望与靶心的差距。
Variance代指误差,实际与期望的差距。
简单的模型Bias大,Variance小。
复杂的模型Bias小,Variance大。
因为简单的模型一根筋,瞄不准。复杂模型瞄的准。所以简单模型Bias大,复杂模型Bias小。
因为简单的模型容易被记住,所以误差小,复杂模型不容易被记住,所以误差大。
Bias的大小可以理解为在训练集上的效果。Variance的大小可以理解为在测试集上的效果。
Bias大欠拟合,需要redesign模型,因为你的function set里面可以没有最合适的function。
Variance大过拟合.1、more data 2、Regularization,使曲线变得更平滑。
解决过拟合的方法
正则化
数据增广
增加训练集的数据。
例如:一张图片,可以对其进行反转,加滤镜,裁剪等使其变为多张图片。