正则化 regularization

从“很久很久”以前就听说正则化的目的是为了防止过拟合，进而增强泛化能力，但从来没有深入去了解过它是如何实现的。

近日在学习paddlepaddle，官方教程里写的不错，故copy至此。

为了方便自己之后翻阅所参考的文档、尊重网络所有作者的心血及帮助其他读者深入学习，reference留在最前面
Reference：
Link to paddlepaddle
知乎答主Yeung Evan，言有三

过拟合的背景

造成过拟合的原因是模型过于敏感，而训练数据量太少或其中的噪音太多；
也可以说是模型的表示能力过于强大，故这里有两个办法：
我们或者限制模型表示能力，或者收集更多的训练数据。
而清洗训练数据中的错误，或收集更多的训练数据往往是一句“正确的废话”，在任何时候我们都想获得更多更高质量的数据。在实际项目中，更快、更低成本可控制过拟合的方法，只有限制模型的表示能力。

正则化项

为了防止模型过拟合，在没有扩充样本量的可能下，只能降低模型的复杂度，可以通过限制参数的数量或可能取值（参数值尽量小）实现。

具体来说，在模型的优化目标（损失）中人为加入对参数规模的惩罚项。当参数越多或取值越大时，该惩罚项就越大。通过调整惩罚项的权重系数，可以使模型在“尽量减少训练损失”和“保持模型的泛化能力”之间取得平衡。泛化能力表示模型在没有见过的样本上依然有效。正则化项的存在，增加了模型在训练集上的损失。

飞桨支持为所有参数加上统一的正则化项，也支持为特定的参数添加正则化项。