理解WGAN 和 Spectral Normalization(归一化)

传统的Gan存在的问题

传统的判别器损失

$$\underset{D}{\max }V(D,G)={\mathbb{E}}_{x\sim P_r(x)}[logD(x)]+{\mathbb{E}}_{z\sim P_g(x)}[log(1-D(x))](1)$$

设判别器的输入数据 $x$ 来源于真实数据分布的概率为$P_r(x)$ ，来源于生成数据分布的概率为$P_g(x)$

则判别器损失可以表示为:
$$D_{Loss}=-[P_r(x)logD(x)+P_g(x)log(1-D(x))](2)$$
令$D(x)$导数为0，化简可得:
$$D(x)=\frac{P_r(x)}{P_r(x)+P_g(x)}(3)$$
当输入数据来自真实分布的概率$P_r(x)$ 与来自生成数据分布的概率$P_g(x)$相同时，即$P_r(x)=P_g(x)$

时，生成器生成的图片效果最好，真假难辨。将 (3) 式代入 (1) 式得:
$${\mathbb{E}}_{x\sim P_r(x)}log\frac{P_r(x)}{\frac{1}{2}[P_r(x)+P_g(x)]}+{\mathbb{E}}_{x\sim P_g(x)}log\frac{P_g(x)}{\frac{1}{2}[P_r(x)+P_g(x)]}-2log2(4)$$
由$JS$ 散度 和$KL$散度的公式:
$$\begin{gathered} D_{KL}(P_1||P_2)=\sum P_{1}log\frac{P_1}{P_2}={\mathbb{E}}_{x\sim P_1}log\frac{P_1}{P_2}(5) \\ {D}_{JS}=\frac{1}{2}{D}_{KL}(P_1||\frac{P_1+P_2}{2})+\frac{1}{2}{D}_{KL}(P_2||\frac{P_1+P_2}{2})(6) \end{gathered}$$
则(4)式可化简为(7):
$$2D_{JS}(P_r||P_g)-2log2(7)$$
所以原始的Gan 判别器的损失最终可以转换为一个计算$JS$ 散度的式子。极端情况，当$P_r$或$P_g$其中一个为0时，即真实数据分布与生成数据分布完全没有交集时，代入(4)式:

$P_r(x)$ = 0

$${\mathbb{E}}_{x\sim P_r(x)}log\frac{0}{\frac{1}{2}[0+P_g(x)]}+{\mathbb{E}}_{x\sim P_g(x)}log\frac{P_g(x)}{\frac{1}{2}[0+P_g(x)]}-2log2=0+0-2log2=-2log2$$

$P_g(x)$=0

$${\mathbb{E}}_{x\sim P_r(x)}log\frac{P_r(x)}{\frac{1}{2}[P_r(x)+0]}+{\mathbb{E}}_{x\sim P_g(x)}log\frac{0}{\frac{1}{2}[P_r(x)+0]}-2log2=0+0-2log2=-2log2$$

可以看出，当真实的数据分布和生成的数据分布没有重叠部分时，会导致判别器的输入要么来自真实分布($P_r(x)\ne 0,P_g(x)=0$) 要么来自生成的数据分布($P_r(x)=0,P_g(x)\ne 0$) ，明明是最差的情况，最需要加大惩罚(LOSS)的时候，但此时判别器的loss却为常数$-2log2$，梯度消失，训练根本无法继续进行。传统的Gan很难训练成功的原因就在于此。接下来就轮到大杀器WGan 出场了。

WGan

Wasserstein 距离

为解决传统的Gan在真实数据分布与生成的数据分布差异较大而出现的梯度消失的情况，WGan引入了Wasserstein距离代替$JS$散度来衡量两个数据分布间的差异。Wasserstein距离相比KL散度、JS散度的优势在于，即便两个分布没有重叠，Wasserstein距离仍然能够反映它们的分布的差异。Wasserstein距离的定义式如下:
W ( P r , P g ) = m a x D ∈ 1 − L i p s c h i t z { E x ∼ P r ( x ) [ D ( x ) ] − E x ∼ P g ( x ) [ D ( x ) ] } W(P_r,P_g) = \mathop{max}\limits_{D \in 1-Lipschitz} \{ \mathbb{E}_{x\sim P_r(x)}[D(x)]-\mathbb{E}_{x\sim P_g(x)}[D(x)] \} W(Pr​,Pg​)=D∈1−Lipschitzmax​{Ex∼Pr​(x)​[D(x)]−Ex∼Pg​(x)​[D(x)]}
可以简单理解为把来自分布$P_g$的点移动到分布$P_r$的平均最小距离。所以Wasserstein距离也被叫做推土机距离(Earth-Mover Distance)。从上面的这个式子可以看出，要计算两个分布间的Wasserstein距离，需要使得${\mathbb{E}}_{x\sim P_r(x)}D(x)$ ↑，${\mathbb{E}}_{x\sim P_g(x)}[D(x)]$ ↓ 。但是又不能让${\mathbb{E}}_{x\sim P_r(x)}D(x)$无限增大(+$\infty$)或让${\mathbb{E}}_{x\sim P_g(x)}[D(x)]$无限减少(-$\infty$)，因为如果这样，即使这两个分布靠得很近，还是会由于之间的差距过大($\infty$)，计算出来的Wasserstein距离还是会无限大，这样就失去了Wasserstein距离所提出来的意义了。因此要让他们之间的差距限定在一定的范围内，即使得Wasserstein距离满足 Lipschitz 连续性条件。

Lipschitz 连续性条件

Lipschitz连续性条件的定义如下:
$$||D(x)-D(y)||\leqq K||x-y||$$
即:
$$\frac{||D(X)-D(y)||}{||x-y||}\leqq K$$
简单来说就是让判别器函数D的导数的最大值小于某个常数K，这样就能使得函数的变动幅度不会太大，限定在了某一个范围内(导函数有界)。常见的函数如三角函数$sinx$，神经网络中常用的ReLU函数都是满足1-Lipschitz连续性条件的。

$sinx$和ReLu函数的导数最大值都是1，满足1-Lipschitz条件。常见的不满足Lipshitz条件的函数为二次函数$x^2$。显然二次函数的导函数为$x$不是一个有界的函数。

卷积神经网络中常用的激活ReLU已经满足Lipschitz条件了，剩下的只需要使得卷积网络中的参数矩阵$W$也满足Lipschitz条件就可以顺利求解Wassertein距离啦。那么要如何使得参数矩阵$W$满足Lipschitz条件呢？原始的WGan给出了一个比较粗糙的解决办法：

将参数的范围强行设定在某个区间内，如[-c,c]，
$$\{\begin{array}{l}w=c,ifw>c\\ w=-c,ifw<-c\end{array}$$
但其实这样的方法只能近似地使得$W$满足Lipschitz条件。后来有文献提出了更优雅的解决办法，那就是Spectral Normaliztion(谱归一化)。

Spectral Normaliztion

所谓的Spectral norm(谱范数)其实就是参数矩阵$W$的最大的奇异值(即$W^{T}W$的最大特征值开根号后的值)，要求解谱范数需要利用SVD分解。(不想看求解过程的建议直接跳到最后)

SVD分解

设$W$为 m x n 阶矩阵，且rank(W) = r，则存在m阶正交矩阵V 和n阶正交矩阵U,使得:
$$W=V\left(\begin{array}{cc}\sum & 0\\ 0& 0\end{array}\right)U^H$$
其中$\sum =diag({\sigma }_1,...,{\sigma }_r)$，且${\sigma }_1\geqq {\sigma }_2...\geqq {\sigma }_r$ 。这里的${\sigma }_i$就是奇异值，我们要求的就是这其中的最大值。要想直接求解上述SVD的分解并不那么简单，就算是可以求解，如果在神经网络每个层中都这样去求解代价也未免太大，所以一般用Power Iteration的方法来近似求解。首先，由于$W^{T}W$是正规阵 (因为$W^{T}W=W{W}^T=I$)，所以$W^{T}W$一定正交相似于对角阵。即:
$$U^T{W}^{T}WU=\left(\begin{array}{cc}{\sum }^2& 0\\ 0& 0\end{array}\right)$$

其中${\sum }^2=diag({\sigma }_1^2,...,{\sigma }_r^2)=diag({\lambda }_1,...{\lambda }_r)$ ，且${\lambda }_1\geqq {\lambda }_2...\geqq {\lambda }_r$ ，${\lambda }_1$为其中最大的特征值。Power Iteration的具体做法是：

(1). 随机初始化一个向量$\hat{v}$，并假设矩阵$W^{T}W$的特征向量组为$v_1,v_2,...v_r$ ，由该特征向量组张成$R^r$

线性空间，则向量$\hat{v}$可表示为:
$$\hat{v}=c_1{v}_1+...+c_r{v}_r$$
(2). 然后用下面的式子迭代地更新$\hat{v}$:
$$\begin{gathered} \hat{u}=W^{T}W\hat{v} \\ \hat{v}=W^{T}W\hat{u} \\ ...... \end{gathered}$$
迭代k次相当于用$W^{T}W$的k次幂左乘第一个式子得:
$$\begin{gathered} (W^{T}W{)}^k\hat{v}=c_1{\lambda }_1^k{v}_1+c_2{\lambda }_2^k{v}_2+...+c_r{\lambda }_r^k{v}_r \\ ={\lambda }_1(c_1{v}_1+c_2(\frac{{\lambda }_2^k}{{\lambda }_1^k})v_2+...c_r(\frac{{\lambda }_r^k}{{\lambda }_1^k})v_r) \end{gathered}$$
当k→$\infty$时，${\lim }_{k\to \infty }\frac{{\lambda }_r^k}{{\lambda }_1^k}=0$，$(W^{T}W{)}^k\hat{v}\approx c_1{\lambda }_1^k{v}_1$，这意味着，随着迭代的进行，$(W^{T}W{)}^k\hat{v}$

会收敛到$v_1$的某个倍数，其对应的特征值为${\lambda }_1$，随后借助下面的瑞利商就可以实现近似求解最大的特征值${\lambda }_1$。

瑞利商

若$x\in {\mathbb{R}}^n$是矩阵$A\in {\mathbb{R}}^{n\times n}$ 的一个特征向量，则其对应的特征值为:
$$\lambda =\frac{⟨Ax,x⟩}{⟨x,x⟩}$$
其中 $⟨...⟩$表示内积。故有：
$${\lambda }_1=\frac{v_1^T(W^{T}W)v_1}{v_1^T{v}_1}$$
瑞利商的证明其实很简单，因为已知$(W^{T}W)v_1={\lambda }_1{v}_1$带入上式即可。由于$W^T$和$W$具有相同的奇异值，故其谱范数为:
$$\sigma (W)=\sqrt{{\lambda }_1}$$
解决了谱范数的求解问题，就回到最初开始的问题了，为何谱范数能使神经网络的参数矩阵满足Lipschitz连续性条件呢？这是因为如果将矩阵乘法看作是一种线性变换，那么会满足下面的约束条件:

对于任意向量$x$，经过矩阵W的变换后(即$Wx$)，其长度都不会大于$\sigma (W)$，即:
$$|Wx|<\sigma (W)|x|$$
因此，只需要每次更新参数之后都除以谱范数$\sigma (W)$，自然就能使参数矩阵满足1-Lipschitz连续性条件了。

详细的证明过程看这里:详细证明过程

参考

https://www.youtube.com/watch?v=MP0BnVH2yOo&list=PLJV_el3uVTsMhtt7_Y6sgTHGHp1Vb2P2J&index=16

https://zhuanlan.zhihu.com/p/63957812

https://zhuanlan.zhihu.com/p/25071913

https://christiancosgrove.com/blog/2018/01/04/spectral-normalization-explained.html

https://zhuanlan.zhihu.com/p/61363638

https://zhuanlan.zhihu.com/p/336250805