GAN学习笔记——KL散度、交叉熵、JS散度

首先，我们知道， 熵 是用来量化数据中含有的信息量的，其计算公式为：
$$H=-\sum _{i=1}^{N}p(x_i)\cdot \log p(x_i)$$

---

1）KL散度（Kullback–Leibler divergence）
又称KL距离，相对熵，用来比较两个概率分布的接近程度。

假设 $p(x)$ 为数据的真实概率分布，$q(x)$ 为数据的理论概率分布，计算它们每个取值之间对应的差：
$$KL(p||q)=\sum _{i=1}$$