深度学习的噪声鲁棒性：权重噪声注入 推导+解析

1. 概述

在深度学习中，可以在输入、权重和输出中注入噪声，已达到不同的目的。

• 输入噪声注入：将噪声作用于输入的数据集，是一种数据增强的方法。
• 权重噪声注入：将噪声作用于权重，相当于在非权重噪声注入的代价函数上加入正则项，其作用为防止过拟合，且缩小扰动对模型预测结果的影响。目前权重噪声注入主要用于RNN。
• 输出噪声注入：大多数数据集的 $y$ 标签都有一定的错误，对标签上的噪声进行显式建模能够更好的最大化 $\log p(y\mid \mathbf{x})$

2. 权重噪声注入

下证：权重噪声注入的带价函数等于非权重注入的代价函数加上一个参数正则项。

假设有一个无噪声注入的深度前馈网络：$$P_{\text{mokd }}(y\mid \vec{x};\vec{\theta })=N(y;f(\vec{x};\vec{\theta }),I)$$则其交叉熵代价函数为$$J(\vec{\theta })=-{\mathbb{E}}_{\overrightarrow{\mathbf{x}},y\sim {\hat{p}}_{\text{data }}}\log p_{\text{model }}(y\mid \overrightarrow{\mathbf{x}};\vec{\theta })=\frac{1}{2}{\mathbb{E}}_{\overrightarrow{\mathbf{x}},y\sim {\hat{p}}_{\text{deta }}}\Vert y-f(\overrightarrow{\mathbf{x}};\vec{\theta }){\Vert }^2$$
其中$\overrightarrow{\mathbf{x}},y\sim {\hat{p}}_{\text{data }}$表示 $\overrightarrow{\mathbf{x}},y$ 服从 ${\hat{p}}_{\text{data }}$分布，${\mathbb{E}}_{\overrightarrow{\mathbf{x}},y\sim {\hat{p}}_{\text{data }}}$ 表求关于${\hat{p}}_{\text{data }}$求期望。

向每个权重添加一个随机扰动 $ϵ\mathbf{W}\sim \mathcal{N}(ϵ;\overrightarrow{0},\eta \mathbf{I})$，服从均值为0，方差为 $\eta$ 的正态分布。增加扰动后的模型为$${\tilde{p}}_{\text{model }}(y\mid \overrightarrow{\mathbf{x}};\vec{\theta },ϵ\mathbf{W})=\mathcal{N}(y;\tilde{f}(\overrightarrow{\mathbf{x}};\vec{\theta },ϵ\mathbf{W}),\mathbf{I})$$
假设有 ${\mathbb{E}}_{p\left({ϵ}_{\mathbf{W}}\right)}\tilde{f}\left(\overrightarrow{\mathbf{x}};\vec{\theta },{ϵ}_{\mathbf{W}}\right)=f(\overrightarrow{\mathbf{x}};\vec{\theta })$，即模型加入扰动后的期望等同于原来的模型。则添加扰动后的代价函数为
$$\begin{array}{rl}\tilde{J}(\vec{\theta })& =\frac{1}{2}{\mathbb{E}}_{p\left(\overrightarrow{\mathbf{x}},y,{ϵ}_{\mathbf{W}}\right)}{\Vert y-\tilde{f}\left(\overrightarrow{\mathbf{x}};\vec{\theta },{ϵ}_{\mathbf{W}}\right)\Vert }^2\\ & ={\mathbb{E}}_{p\left({ϵ}_{\mathbf{w}}\right)}\left[\frac{1}{2}{\mathbb{E}}_{\overrightarrow{\mathbf{x}},y\sim {\hat{p}}_{\text{data }}}{\Vert y-\tilde{f}\left(\overrightarrow{\mathbf{x}};\vec{\theta },{ϵ}_{\mathbf{W}}\right)\Vert }^2\right]\\ & =\frac{1}{2}{\mathbb{E}}_{p\left({ϵ}_{\mathbf{W}}\right)}{\mathbb{E}}_{\overrightarrow{\mathbf{x}},y\sim {\hat{p}}_{\text{data }}}[(y-f(\overrightarrow{\mathbf{x}};\vec{\theta }){)}^2+{\left(f(\overrightarrow{\mathbf{x}};\vec{\theta })-\tilde{f}\left(\overrightarrow{\mathbf{x}};\vec{\theta },{ϵ}_{\mathbf{W}}\right)\right)}^2+2(y-f(\overrightarrow{\mathbf{x}};\vec{\theta }))\left(f(\overrightarrow{\mathbf{x}};\vec{\theta })-\tilde{f}\left(\overrightarrow{\mathbf{x}};\vec{\theta },{ϵ}_{\mathbf{W}}\right)\right)]\\ & =\frac{1}{2}{\mathbb{E}}_{p(ϵ\mathrm{W})}{\mathbb{E}}_{\overrightarrow{\mathbf{x}},y\sim {\hat{p}}_{\text{data }}}(y-f(\overrightarrow{\mathbf{x}};\vec{\theta }){)}^2+\frac{1}{2}{\mathbb{E}}_{p(ϵ\mathbf{w})}{\mathbb{E}}_{\overrightarrow{\mathbf{x}},y\sim {\hat{p}}_{\text{data }}}{\left(f(\overrightarrow{\mathbf{x}};\vec{\theta })-\tilde{f}\left(\overrightarrow{\mathbf{x}};\vec{\theta },{ϵ}_{\mathbf{W}}\right)\right)}^2\\ & +{\mathbb{E}}_{\overrightarrow{\mathbf{x}},y\sim {\hat{p}}_{\text{data }}}(y-f(\overrightarrow{\mathbf{x}};\vec{\theta })){\mathbb{E}}_{p(ϵ\mathbf{W})}\left(f(\overrightarrow{\mathbf{x}};\vec{\theta })-\tilde{f}\left(\overrightarrow{\mathbf{x}};\vec{\theta },{ϵ}_{\mathbf{W}}\right)\right)\end{array}$$由于函数式不含有扰动项，可以忽略计算关于扰动的期望$$\frac{1}{2}{\mathbb{E}}_{p\left({ϵ}_{\mathbb{W}}\right)}{\mathbb{E}}_{\overrightarrow{\mathbf{x}},y\sim {\hat{p}}_{\text{data }}}(y-f(\overrightarrow{\mathbf{x}};\vec{\theta }){)}^2=\frac{1}{2}{\mathbb{E}}_{\overrightarrow{\mathbf{x}},y\sim {\hat{p}}_{\text{data }}}(y-f(\overrightarrow{\mathbf{x}};\vec{\theta }){)}^2=J(\vec{\theta })$$ 由于添加扰动前后的期望值不变$${\mathbb{E}}_{p\left({ϵ}_{\mathbf{W}}\right)}\left(f(\overrightarrow{\mathbf{x}};\vec{\theta })-\tilde{f}\left(\overrightarrow{\mathbf{x}};\vec{\theta },{ϵ}_{\mathbf{W}}\right)\right)=f(\overrightarrow{\mathbf{x}};\vec{\theta })-{\mathbb{E}}_{p\left({ϵ}_{\mathbf{W}}\right)}\tilde{f}\left(\overrightarrow{\mathbf{x}};\vec{\theta },{ϵ}_{\mathbf{W}}\right)=0$$
于是有$$\tilde{J}(\vec{\theta })=J(\vec{\theta })+\frac{1}{2}{\mathbb{E}}_{p(ϵ\mathbf{W})}{\mathbb{E}}_{\overrightarrow{\mathbf{x}},y\sim {\hat{p}}_{\text{duta }}}{\left(f(\overrightarrow{\mathbf{x}};\vec{\theta })-\tilde{f}\left(\overrightarrow{\mathbf{x}};\vec{\theta },{ϵ}_{\mathbf{W}}\right)\right)}^2+0$$将 $\tilde{f}$ 在 $\mathbf{w}$ 处进行一阶泰勒展开，有$$\tilde{f}\left(\overrightarrow{\mathbf{x}};\vec{\theta },{ϵ}_{\mathbf{W}}\right)=f(\overrightarrow{\mathbf{x}};\vec{\theta })+{\nabla }_{\mathbf{W}}f(\overrightarrow{\mathbf{x}};\vec{\theta }{)}^T{ϵ}_{\mathbf{W}}$$则$$\begin{array}{rl}{\mathbb{E}}_{p\left({ϵ}_{\mathbf{W}}\right)}\left[{\left(\tilde{f}\left(\overrightarrow{\mathbf{x}};\vec{\theta },{ϵ}_{\mathbf{W}}\right)-f(\overrightarrow{\mathbf{x}};\vec{\theta })\right)}^2\right]& ={\mathbb{E}}_{p\left({ϵ}_{\mathbf{W}}\right)}{\left(f(\overrightarrow{\mathbf{x}};\vec{\theta })+{\nabla }_{\mathbf{W}}f(\overrightarrow{\mathbf{x}};\vec{\theta }{)}^T{ϵ}_{\mathbf{W}}-f(\overrightarrow{\mathbf{x}};\vec{\theta })\right)}^2\\ & ={\mathbb{E}}_{p\left({ϵ}_{\mathbf{W}}\right)}{\left({\nabla }_{\mathbf{W}}f(\overrightarrow{\mathbf{x}};\vec{\theta }{)}^T{ϵ}_{\mathbf{W}}\right)}^2\\ & ={\Vert {\nabla }_{\mathbf{W}}f(\overrightarrow{\mathbf{x}};\vec{\theta })\Vert }^2\cdot \underset{\text{噪声方差}}{\underbrace{\left[{\mathbb{E}}_{p\left({ϵ}_{\mathbf{W}}\right)}({ϵ}_{\mathbf{W}}{)}^2-(\stackrel{\text{噪声均值为0}}{\overbrace{{\mathbb{E}}_{p\left({ϵ}_{\mathbf{W}}\right)}({ϵ}_{\mathbf{W}})}}{)}^2\right]}}\\ & ={\Vert {\nabla }_{\mathbf{W}}f(\overrightarrow{\mathbf{x}};\vec{\theta })\Vert }^2\eta \end{array}$$因此$$\tilde{J}(\vec{\theta })=J(\vec{\theta })+\frac{\eta }{2}{\mathbb{E}}_{\overrightarrow{\mathbf{x}},y\sim {\hat{p}}_{\text{data }}}{\Vert {\nabla }_{\mathbf{W}}f(\overrightarrow{\mathbf{x}};\vec{\theta })\Vert }^2$$其中 $\eta$ 是噪声的方差

这说明，权重噪声注入的带价函数等于非权重注入的带价函数加上一个参数正则化项：

• 噪声方差 $\eta$ 越大，正则化项越大
• 正则化项为梯度的二范数，因此该正则化项将会鼓励参数进入梯度更小的区域，即代价函数平坦的区域，这也意味着最终的得到的网络对小的扰动不敏感
• 权重噪声注入对简单的线性回归并不适用，由于简单线性回归模型 $f(\overrightarrow{\mathbf{x}};\vec{\theta })={\overrightarrow{\mathbf{w}}}^T\overrightarrow{\mathbf{x}}+b$ 关于权重的倒数为 $\overrightarrow{\mathbf{x}}$，只与数据集有关为常量，因此正则项在梯度下降过程中不起作用。

参考文献

Goodfellow I, Bengio Y, Courville A. Deep learning[M]. MIT press, 2016.
https://www.bookstack.cn/read/huaxiaozhuan-ai/spilt.4.d07cc9a8a1364f3d.md