【深度学习基础】模型过拟合

深度学习之过拟合

过拟合&欠拟合

过拟合：在训练集上表现很好，但在测试集上表现不佳。
欠拟合：训练集上表现不行，测试集上表现也不行。

导致过拟合的原因

1、模型太复杂：模型过于复杂，以至于可以完全记住训练集上的数据，不需要去学习。
2、数据不够多：数据少，容易被记住。
李宏毅老师图：
Bias代指偏差，期望与靶心的差距。
Variance代指误差，实际与期望的差距。
简单的模型Bias大，Variance小。
复杂的模型Bias小，Variance大。
因为简单的模型一根筋，瞄不准。复杂模型瞄的准。所以简单模型Bias大，复杂模型Bias小。
因为简单的模型容易被记住，所以误差小，复杂模型不容易被记住，所以误差大。
Bias的大小可以理解为在训练集上的效果。Variance的大小可以理解为在测试集上的效果。
Bias大欠拟合，需要redesign模型，因为你的function set里面可以没有最合适的function。
Variance大过拟合.1、more data 2、Regularization，使曲线变得更平滑。

解决过拟合的方法

正则化

数据增广

增加训练集的数据。
例如：一张图片，可以对其进行反转，加滤镜，裁剪等使其变为多张图片。