L2 正则化

概述

在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集，对训练集外的数据却不工作。

为什么将数据集分为三部分：训练集，开发集，测试集。
开发集就是用来避免过拟合的，训练过程中，通常用它来确定一些超参数。为什么不直接使用测试集，因为如果在测试集上做这些，那么随着训练的进行，我们的网络实际上就是在一点一点地overfitting我们的测试集，导致最后得到的测试集正确率没有任何参考意义。

避免过拟合的方法

1.early stopping
2.增加数据
3.L2正则化
4.dropout正则化

当发生过拟合时，也就是方差过大时，使用上述方法。但在偏差过大时，需要使用增大网络过着增加训练时间等方法。

L2正则化

L2正则化就是在原本的损失函数的基础上增加了所有层所有参数的平方和。λ就是正则项系数，权衡正则项与原损失函数项的比重。系数1/2主要是为了后面求导的结果方便，后面那一项求导会产生一个2，与1/2相乘刚好凑整。

对上式求导得到：