KL divergence（KL 散度）详解

本文用一种浅显易懂的方式说明KL散度。
参考资料

KL散度本质上是比较两个分布的相似程度。

现在给出2个简单的离散分布，称为分布1和分布2.

分布1有3个样本，
其中A的概率为50%, B的概率为40%，C的概率为10%

分布2也有3个样本：
其中A的概率为50%，B的概率为10%，C的概率为40%。

现在想比较分布1和分布2的相似程度。

直观看上去分布1和分布2中样本A的概率是一样的，仅仅B和C的概率换了一下。
分布应该是相似的，但是如何量化来看呢。

可以这样做，用分布1的各个样本的概率和分布2样本概率做比值，相加再求平均。

现假设分布1的概率分布为P，分布2的概率分布为Q，
那么P(A) = 0.5, P(B)=0.4, P( C) = 0.1
Q(A) = 0.5, Q(B) = 0.1, Q( C) = 0.4,

各样本概率做比值之后为：
P(A)/Q(A) + P(B)/Q(B) + P( C)/Q( C) = 1+4+1/4
再对3个样本取平均： (1+4+1/4) / 3 = 1.75
这就是我们想要的分布1和分布2的相似度。

不过有一个问题，
可以看到P(B)和Q(B), P( C)和Q( C)仅仅概率做了交换，它们的相似度大小应该是一样的（仅仅方向不一样），
也就是说P(B)/Q(B), P( C)/Q( C)的绝对值应该是一样的，符号不一样。
但是现在，哪个分子大哪个结果就大，这是不应该的，

想要这样一个函数来解决这个问题，
f(4) = y
f(1/4) = -y,
这里的4为P(B)/Q(B), 1/4为P( C)/Q( C),
经过f(x)后得到的应该是同样的相似度大小，只是方向不一样，一个是变大的方向，一个是变小的方向，用负号表示方向的不同。

那么什么样的函数能满足f(x)呢，
可以取几个值画一下，你会发现，这个f(x)就是log(x)。

那么现在把刚才的相似度修改一下，
把简单的P(x)/Q(x)换成log(P(x) / Q(x)).
于是变为：$$\sum _1^{n}log\frac{P(x)}{Q(x)}/n$$

对样本取平均值表示每个样本的weight都是1/n,
不要取这么平均，把weight改为P(x),

那么就得到$$\sum _1^{n}P(x)log\frac{P(x)}{Q(x)}$$

这就是我们熟悉的KL散度，它比较的是分布P和分布Q的相似度。
“||”右边的Q表示是reference分布。

$$KL(P||Q)=\sum _1^{n}P(x)log\frac{P(x)}{Q(x)}$$