GAN中的Spectral Normalization

GAN中的Spectral Normalization

  Spectral Normalization 出自 《Spectral Norm Regularization for Improving the Generalizability of Deep Learning》和《Spectral Normalization for Generative Adversarial Networks》，是为了解决GAN训练不稳定的问题，从“层参数”的角度用spectral normalization的方式施加regularization，从而使判别器D具备Lipschitz连续条件。

---

为什么要让D具备Lipschitz连续

为了防止判别器“放飞自我”

根据Wikipedia的定义，Lipschitz连续条件 如下。其意义在于使得 f 足够稳定，在输入发生少量变化时，输出不会有太巨大的变化。如果有图像A，修改少量像素得到图像B，输入判别器D后得到相差非常巨大的判别效果，那么判别器就是不稳定的，它对输入过于敏感。
$$\frac{||f(x_1)-f(x_2)||}{||x_1-x_2||}\le K,\forall x_1,x_2$$
这里的 K 被称为 $f(x)$ 的 Lipschitz constant，K的最小值（上确界）被称为 $||f|{|}_{Lip}$ ，称 $f(x)$ 满足 Lipschitz连续条件。

《Wasserstein GAN》 给出了衡量真实分布$P_r$和生成分布$P_g$的 Earth-Mover(EM) 距离：

$$W(P_r,P_g)=\underset{\gamma \in (P_r,P_g)}{\inf }{E}_{(x,y)\sim \gamma }[||x-y||]$$

由 Kantorovich-Rubinstein duality 可得EM距离的另一个形式，这里有用到 $||f|{|}_{Lip}$：

$$W(P_r,P_g)=\frac{1}{K}\underset{||f|{|}_{Lip}\le K}{\sup }{E}_{x\sim P_r}[f(x)]-E_{x\sim P_g}[f(x)]$$

在$||f|{|}_{Lip}\le 1$的条件下