过拟合产生原因和解决

通常过拟合由以下三种原因产生：

1. 假设过于复杂：注意奥卡姆剃刀原则
2. 数据存在很多噪音：
3. 数据规模太小：

过拟合的解决方法通常有：

1. early stopping：采用交叉验证，设置一个k值，当连续k轮验证集上的指标都不上升时，停止训练

2. 数据集扩增：

   • 从数据源头采集更多数据；
   • 数据增强：复制原有的数据并加上随机噪声。图像可以旋转，改变尺寸等；
   • 重复采样；
   • 根据当前估计数据分布参数，使用该分布产生更多数据

3. 正则化： 如L1正则化，L2正则化等

4. Dropout: 每轮一定比例删除输入特征

5. 增加BN层
   参考：
   https://blog.youkuaiyun.com/weixin_37933986/article/details/69681671