L1和L2正则化原理及分析

正则化

是指在优化目标函数或代价函数是，在目标函数后面加上一个正则项。正则项通常有L1正则项和L2正则项。

1. L1正则 
L1正则是基于L1范数和项，即参数的绝对值和参数的积项，即： 

C=C0+λn∑w|w|C=C0+λn∑w|w|

其中C0代表原始的代价函数，n是样本的个数，λ就是正则项系数，权衡正则项与C0项的比重。后面那一项即为L1正则项。 
在计算梯度时，w的梯度变为： 

∂C∂w=∂C0∂w+λnsgn(w)∂C∂w=∂C0∂w+λnsgn(w)

其中，sgn是符号函数，那么便使用下式对参数进行更新： 

w:=w+α∂C0∂w+βλnsgn(w)w:=w+α∂C0∂w+βλnsgn(w)

对于有些模型，如线性回归中（L1正则线性回归即为Lasso回归），常数项b的更新方程不包括正则项，即： 

b:=b+α∂C0∂bb:=b+α∂C0∂b

其中，梯度下降算法中，α<0,β<0，而在梯度上升算法中则相反。

 

从上式可以看出，当w为正时，更新后w会变小；当w为负时，更新后w会变大；因此L1正则项是为了使得那些原先处于零（即|w|≈0）附近的参数w往零移动，使得部分参数为零，从而降低模型的复杂度（模型的复杂度由参数决定），从而防止过拟合&#