NoisyNN, Generalization Performance

在本博客中，我们一起读一下Guozhong An的文章: The Effects of Adding Noise During Back-propagation Training on a Generalization Performance.

I 系统模型

本文考虑一个多层神经网络 $f$:

• 参数向量(包括weights和bias)是 $\mathbf{w}$;
• 输入是向量 $\mathbf{x}$;
• 输出是一个数 $f(\mathbf{x},\mathbf{w})$.
• 训练数据 ${\mathbf{z}}^{\mu }=({\mathbf{x}}^{\mu },y^{\mu }),\mu =1,2,...,N$.
• 给定 $\mathbf{w}$ 时，一个训练数据的 loss $e({\mathbf{z}}^{\mu },\mathbf{w})$, 整个训练集上的平均 loss
  $$E(\mathbf{w})=\frac{1}{N}\sum _{n=1}^{N}e({\mathbf{z}}^{\mu },\mathbf{w})\text{\hspace{1em}(1)}$$
• Steepest/gradient descent:
  $${\mathbf{w}}_{t+1}={\mathbf{w}}_t+\Delta {\mathbf{w}}_t={\mathbf{w}}_t-{\eta }_t\nabla E(\mathbf{w})\text{\hspace{1em}(2)}$$
• Stochastic gradient descent (SGD):
  $${\mathbf{w}}_{t+1}={\mathbf{w}}_t+\Delta {\mathbf{w}}_t={\mathbf{w}}_t-{\eta }_t\nabla e({\mathbf{z}}^{\mu },\mathbf{w})\text{\hspace{1em}(3)}$$

总的来说, 神经网络的输出 $f(\mathbf{x},\mathbf{w})$ 是 $\mathbf{x}$ 和 $\mathbf{w}$ 的函数。$\mathbf{x}$ 和 $\mathbf{w}$ 上的扰动会导致

• inference阶段：输出结果的变化。
• training 阶段：输出的变化进一步导致loss的变化，从而影响NN的训练。

本文考虑三种noise

1. Data noise: ${\mathbf{z}}^{\mu }={\mathbf{z}}^{\mu }+\mathbf{\zeta }$
   注意这里相当于是对输入输出同时加噪声，可以这么做的原因是这两部分噪声的effect可以分开。
2. Weight noise: $\mathbf{w}=\mathbf{w}+\mathbf{\xi }$
   这是在weights上直接加噪声。
3. Langevin noise: $\Delta \mathbf{w}=\Delta \mathbf{w}+\mathbf{\xi }$
   这是在梯度的更新方向 (gradients) 上加噪声。

II Training with data noise

本节主要的研究目标是，训练时输入输出数据上加的噪声会对训练有什么样的影响。更具体地说，对我们要minimize的目标函数 (loss function) 有什么样的改变。

A. 加噪声后数据分布的改变

给定 $\mathbf{w}$, 原本的网络输出是 $f({\mathbf{z}}^{\mu },\mathbf{w})$, 对输入输出加噪声后网络输出是 $f({\mathbf{z}}^{\mu }+\mathbf{\zeta },\mathbf{w})$. 由于 $\mathbf{\zeta }$ 是随机的，因此相当于我们故意增加了很多组原本数据附近的训练数据。

[假设1] 噪声 $\mathbf{\zeta }$ follows density $\rho (\mathbf{\zeta })$.

令加完噪声后的输入输出数据 ${\mathbf{z}}^{\prime }={\mathbf{z}}^{\mu }+\mathbf{\zeta }$, 由假设1可知 ${\mathbf{z}}^{\prime }\sim \hat{g}({\mathbf{z}}^{\prime })$ where
$$\hat{g}({\mathbf{z}}^{\prime })=\sum _{\mu =1}^N\rho ({\mathbf{z}}^{\prime }-{\mathbf{z}}^{\mu })\mathrm{Pr}({\mathbf{z}}^{\mu })=\frac{1}{N}\sum _{\mu =1}^N\rho ({\mathbf{z}}^{\prime }-{\mathbf{z}}^{\mu }).\text{\hspace{1em}(4)}$$

换句话说，加完噪声后 ${\mathbf{z}}^{\prime }$ 变成了连续的，且可能由任意一个 ${\mathbf{z}}^{\mu }$ 加上噪声得到。由于 ${\mathbf{z}}^{\mu }$ 在 SGD 训练中是随机等概率选取的，我们可以得到上式.

B. 加噪声后loss函数的改变

Lemma 1 (Bottou, 1991). 假设 loss 函数 $c(\mathbf{u},\mathbf{w})$ 是 $\mathbf{w}$ 的连续可微分函数，而 $\mathbf{u}$ 是从分布 $g(\mathbf{u})$ 中采样出的随机向量。如果我们采用 stochastic gradient descent 更新 $\mathbf{w}$ 来 minimize $c(\mathbf{u},\mathbf{w})$, i.e.,
$${\mathbf{w}}_{t+1}={\mathbf{w}}_t-{\eta }_t{\nabla }_{\mathbf{w}}c(\mathbf{u},\mathbf{w}).$$

则最终 $c(\mathbf{u},\mathbf{w})$ converges to $C(\mathbf{w})$ where
$$C(\mathbf{w})=\underset{\mathbf{w}}{\min }{\mathbb{E}}_{\mathbf{u}}[c(\mathbf{u},\mathbf{w})]=\underset{\mathbf{w}}{\min }\int c(\mathbf{u},\mathbf{w})g(\mathbf{u})d\mathbf{u}$$

注：Lemma 1 is subject some assumptions such as ${\sum }_t{\eta }_t=\infty$ and ${\sum }_t{\eta }_t^2<\infty$.

Lemma 1 指出，如果训练数据是从一个分布 $g(\mathbf{u})$ 中采样的，那么SGD最终会收敛到 $c(\mathbf{u},\mathbf{w})$ 均值的一个最小值点处。那么，

1. Noiseless data 满足分布 $g(\mathbf{z})={\sum }_{\mu }\frac{1}{N}\delta (\mathbf{z}-{\mathbf{z}}^{\mu })$, SGD会最终收敛到 $E(\mathbf{w})$ 的一个最小值处。
   $$E(\mathbf{w})=\sum _{\mu }\frac{1}{N}e({\mathbf{z}}^{\mu },\mathbf{w}).\text{\hspace{1em}(5)}$$
2. Noisy data 满足分布 $\hat{g}({\mathbf{z}}^{\prime })=\frac{1}{N}{\sum }_{\mu =1}^N\rho ({\mathbf{z}}^{\prime }-{\mathbf{z}}^{\mu })$, SGD 最终会收敛到 $\epsilon (\mathbf{w})$ 的一个最小值处，其中
   $$\epsilon (\mathbf{w})=\int e({\mathbf{z}}^{\prime },\mathbf{w})\hat{g}({\mathbf{z}}^{\prime })d{\mathbf{z}}^{\prime }.\text{\hspace{1em}(6)}$$

所以说，输入输出上的噪声使得要 minimize 的 loss 函数由 $E(\mathbf{w})$ 变成了 $\epsilon (\mathbf{w})$.

提升网络generalizability的常用方法: Regularization

由以上结论我们可以联想到一类经常使用的提升网络generalizability的方法: regularization. 即，我们在原本 loss 函数后面加上一个惩罚项 $P(\mathbf{w})$ 构成新的目标函数
$$C(\mathbf{w})=E(\mathbf{w})+\lambda P(\mathbf{w})$$

其中 $\lambda >0$.

Lemma 2 (Arfken, 1985). 若 $P(\mathbf{w})=\text{constant}$ 且 constant 的值仅取决于 $\lambda$ not $\mathbf{w}$, 那么minimizing $C(\mathbf{w})$ 同时也会minimize $E(\mathbf{w})$.

在实际中，具体 $P(\mathbf{w})$ 的形式有很多种heuristic的方法，比如

• In weight decay (Hinton 1996) and weight elimination (Weigend et al. 1991), $P$ 是 NN size 的一个表征, 即我们希望模型sparse一点。
• 在一些maximum a posteriori probability 方法中，$P(\mathbf{w})$ 是 $-\log$ (a priori probability of $\mathbf{w}$), e.g., MacKay 1992, Nowlan and Hinton 1992.
• 在一些信息论的方法中，$P(\mathbf{w})$ 是描述模型所需要的长度，e.g., Rissanen 1989, Kendall and Hall 1993.
• 其他一些work中, $P(\mathbf{w})$是一种smoothness measure.

总之，如果 $P(\mathbf{w})$ 的选取与数据的产生过程相一致，往往 minimizing $C(\mathbf{w})$ 会让网络有更好的 generalizability.

C. loss 函数改变了多少

为了和之前的工作联系起来，我们接下来定量的分析一下，输入输出数据上的噪声导致 loss 函数到底改变了多少，令
$$\epsilon (\mathbf{w})=E(\mathbf{w})+P(\mathbf{w})$$

则，
$$P(\mathbf{w})=\epsilon (\mathbf{w})-E(\mathbf{w})=\int e({\mathbf{z}}^{\prime },\mathbf{w})\frac{1}{N}\sum _{\mu }\rho ({\mathbf{z}}^{\prime }-{\mathbf{z}}^{\mu })d{\mathbf{z}}^{\prime }-\frac{1}{N}\sum _{\mu }e({\mathbf{z}}^{\mu },$$