LGAN

Global versus Localized Generative Adversarial Nets

作者首先给出了传统$GAN$网络的表述：首先由噪声分布$P_z$采样得到流型$M=G(z)|z{P}_z$，所谓的Global指的就是$z$为一个$R^N$空间的全局坐标,而$G(z)$，即生成的样本则是$R^D$空间的点。
这种全局坐标的缺点在于，给定一个$X=G(z)$，无法简便的得到相应的$z$,更糟糕的是如果在$X$周围的切空间$T_x$如果不是一个由$N$个线性无关的向量组成的$N$维空间(这里不是很懂为什么$X$的附近是一个$N$维切空间，按说$X$是位于$R^D$空间的）那么就会发生locally collapsed，意思是在$X$附近无论$z$在什么方向上变化都无法产生连续变化的$G(z)$了。
作者为此提出了LGAN，在$X$周围产生了局部坐标图$G(x,z)$，作者认为应该有$G(x,0)=x$。
当在$X$的周围改变$z_j$（z的一个分量）而固定其他分量时，生成的$G(x,z)$就会在流型上生成一个曲线。由此定义了切向量$$T_x^j=\frac{dG(x,z)}{d{z}^j}|z=0$$这是一个$D$维的向量，即$D$维向量$G(x,z)$对$z$的其中一个维度（方向）上求导数。$T_x$是一个$N\ast D$的雅可比矩阵。
为了防止之前所说的locally collapse，需要对$T_x$加入正交约束，即$$<T_x^i，T_x^j>={\delta }_{ij}$$当$i!=j$时为0，当$j=i$时为1.
因此$G(x,z)$需要满足上面两条约束。即$G(x,0)=x$以及$J_x^T{J}_x=I_N$，其中$J$为上面提到的雅克比矩阵。
因此引入了新的损失函数：$${\omega }_G(x)=\mu ||G(x,0)-x|{|}^2+\eta ||J_x^T{J}_x-I_N|{|}^2$$
这个损失函数被添加在generator训练中，即$$mi{n}_G-logD(G(x,z))+{\omega }_G(x)$$

网络结构

generator的结构：
输入图片，经过卷积层映射为32x1x1特征图，与相同维度的噪声z相加，然后进行反卷积生成$G(x,z)$,D网络的结构与传统GAN网络相同。
作者在celeb-A数据集上进行了实验。在这个数据集上作者使用了32维的局部坐标（即$z$是N=32的向量），图中的每一行是改变32维中的1维然后保持其他维度不变得到的，即在某个方向上进行移动。