机器学习之二十（读书笔记）

• fGAN

三十二、fGAN：General Framework of GAN

（General Framework：总体框架）
  我们定某种objective function就是在量JS Divergence，fGAN就是在说怎么量其它的divergence。
  
1、f-divergence
  假设有两个distribution，$P$、$Q$，$p(x)$ and $q(x)$ are the probability of sampling x。
  $P$和$Q$的f-divergence 如下：

  有两个条件：（1）$f$是convex（凸面的）；（2）$f(1)=0$。
  
  为什么上式可以看作$P$和$Q$的差异？
  如果$p(x)=q(x)$，即$P$和$Q$是一样的，那么它们的距离为0：

  如果$P$和$Q$略有不同的时候，它们的距离一定会大于等于0：

  所以上式可以看作$P$和QQ