机器学习的参数正则化

什么是参数正则化

训练模型时，在原来的损失函数后，添加模型的复杂度。

$$Loss_{new}=minimize(Loss(Data|Model))+\lambda\ complex(Model)$$
一般我们使用$L_2$正则化：
$$L_2=||{\bf{w}}||_{2}^{2}=\Sigma_{n=1}^{n}w_{i}^{2}$$

为什么引入参数正则化

防止过拟合现象：

图中的Training Data的损失越来越小，但是Validation Data的损失却越来越大，因此产生了过拟合现象。使用正则化，可以减轻过拟合的现象，这与模型的复杂度和$\lambda$有关。

$\lambda$数值过小，可能引发过拟合；过大会可能引发欠拟合。