[深度学习-2.3] 正则化减少过拟合

在开发一个分类器的时候如果出现了过拟合问题(高方差)，其中一个有效的方法是增加更多的训练数据，但很多情况下无法获取到更多的数据，这时候就应该考虑另一个很有效的方法——正则化。

正则化的原理

  以Logistic回归分类器为例。使用单神经元和Logistic回归构建的分类器，损失函数（即需要优化的目标函数）为$$\min J(w,b)=\frac{1}{m}\sum _{i=1}^{m}L\left(y^{(i)},{\hat{y}}^{(i)}\right)\text{\hspace{1em}(1)}$$

$w$ 和 $b$ 是逻辑回归的参数，对于Logistic回归来说，$w\in R^{n_x}$，$n_x$ 表示特征向量的维数，$b$ 为实数。正则化就是给上面这样的损失函数加上正则化项，一般来说这个正则化项是 $w$ 的加权值。如果使用L2正则化，损失函数会变成下面这样
$$\min J(w,b)=\frac{1}{m}\sum _{i=1}^{m}L\left(y^{(i)},{\hat{y}}^{(i)}\right)+\frac{\lambda }{2m}\Vert w{\Vert }_2^2\text{\hspace{1em}(2)}$$

相比式(1)来说多了$\frac{\lambda }{2m}\Vert w{\Vert }_2^2$一项，即L2正则化项。其中 $\lambda$ 是正则化参数(是一个超参数)，$m$ 表示样本数量，$\Vert w{\Vert }_2^2$是 $w$ 二范数的平方：
$$\Vert w{\Vert }_2^2=\sum _{j=1}^{n_x}{w}_j^2=w^{T}w\text{\hspace{1em}(3)}$$

L2正则化是最常使用的，此外还有L1正则化，在原损失函数后面加上L1正则化项$\frac{\lambda }{m}\Vert w{\Vert }_1$。$\Vert w{\Vert }_1$ 表示 $w$ 的一范数：
$$\Vert w{\Vert }_1=\sum _{j=1}^{n_x}|w_j|\text{\hspace{1em}(4)}$$
  上面是以简单的Logistic为例，权重参数 $w$ 是一个向量，接下来将其推广到深层神经网络。对于深层神经网络来说，损失函数的参数包含了 ${\mathbf{W}}^{[1]}$ 到 ${\mathbf{W}}^{[L]}$ ，$L$为网络层数，并且对于任意一层 $l$ 来说， ${\mathbf{W}}^{[l]}$ 往往是一个二维矩阵而不是前面的向量形式。此时，加上正则化项后的损失函数为：$$\min J=\frac{1}{m}\sum _{i=1}^{m}L\left(y^{(i)},{\hat{y}}^{(i)}\right)+\frac{\lambda }{2m}\sum _{l=1}^L\Vert {\mathbf{W}}^{[l]}{\Vert }^2\text{\hspace{1em}(5)}$$

其中矩阵范数 $\Vert {\mathbf{W}}^{[l]}{\Vert }^2$ 表示矩阵中所有元素的平方求和。注意到 ${\mathbf{W}}^{[l]}$ 是一个 $n^{[l]}\times n^{[l-1]}$ 的二维矩阵，因此
$$\Vert {\mathbf{W}}^{[l]}{\Vert }^2=\sum _{i=1}^{n^{[l]}}\sum _{i=1}^{n^{[l-1]}}(w_{ij}{)}^2\text{\hspace{1em}(6)}$$

注意，在加入正则化项之后，损失函数的梯度相应的也多了一项，对于 $l$ 层来说，用 $d{\mathbf{W}}^{[l]}$表示没有正则化项的梯度，可以很容易地推导出则加入正则化之后，梯度变为
$$d{\mathbf{W}}^{[l{]}^{\prime }}=d{\mathbf{W}}^{[l]}+\frac{\lambda }{m}{\mathbf{W}}^{[l]}\text{\hspace{1em}(7)}$$

为什么正则化可以减少过拟合

  从直观上来理解，一个深度网络模型出现过拟合的原因是大量的隐藏神经元能够将输入特征向量的大量特征都考虑到，甚至一些数据噪声考虑在内。加入正则化后，由于正则项的存在，导致在优化损失函数的时候会将正则项的值也朝着小的方向优化，这样的结果就是神经网络中有部分连接的值会变得很小(跟$\lambda$有关)，这样网络的结构得到了优化，某些特征的影响会变小。简化后的神经网络更不容易出现过拟合的情况。但是 $\lambda$ 很大的时候，当很多权重值都变得很小，此时网络会变得欠拟合，得到高偏差的结果，因此 $\lambda$ 需要通过验证集来帮助配置。
  从数学原理上理解贝叶斯减少过拟合可以参考这一篇文章，我觉得解释的很清楚。