pytorch学习笔记（十四）————正则化惩罚（减轻overfitting）

目录

回顾

在上一篇博客中我们讲到，当训练模型比真实模型复杂度低的情况叫做underfitting（欠拟合），当训练集模型比真实模型复杂度高的情况叫做overfitting（过拟合）。现如今由于网络层数不断地增加，欠拟合的情况已经较为少见，绝大数多情况都是出现过拟合。与过拟合有一个异曲同工的概念叫做奥卡姆剃刀原理。
奥卡姆剃刀原理是指：在科学研究任务中，应该优先使用较为简单的公式或者原理，而不是复杂的。
应用到深度学习任务中，可以通过减小模型的复杂度来降低过拟合的风险，即模型在能够较好拟合训练集（经验风险）的前提下，尽量减小模型的复杂度（结构风险）。

降低过拟合方法

1.提供更多数据
2.迫使模型复杂度降低
(1)使用更简单结构的神经网络
(2)正则化惩罚项
3.Dropout
4.数据增强
5.早停法

正则化惩罚项