直观解读KL散度的数学概念

机器学习是当前最重要的技术发展方向之一。

基本概念

分布：

分布可能指代不同的东西，比如数据分布或概率分布。我们这里所涉及的是概率分布，假设你在一张纸上画了两个轴（X,Y），我们可以将一个分布想成是落在这两根轴之间的一条线。其中，X表示你有兴趣获取概率的不同值。Y表示观察X轴上的值所得到的概率。即y=p（x）。下图即使某分布的可视化。

这是一个连续分布。比如，我们可以将X轴看成是人的身高，Y轴是找到对应身高的人的概率。

如果你想知道离散的概率分布，你可以将这条线分成固定长度的片段并以某种方式将这些片段水平化。然后就能分局这条线的每个片段创建边缘互相连接的矩形。这就得到一个离散概率分布。

事件

对于离散概率分布而言，事件是指观测到X取某个值（比如X=1）的情况。我们将时间X=1的概率记为P(X=1)。在连续空间中，你可以将其看做是一个取值范围（比如0.95<X<1.05），注意，事件的定义并不局限于在X轴上取值。后面会考虑这种情况。

回到KL散度

我们要解决的问题：

假设我们是一组正在太空中进行研究的科学家，我们发现了一些太空蠕虫，这些蠕虫的牙齿数量各不相同。现在需要将这些信息发回地球。但从太空向地球发送信息的成本很高，所以我们需要用尽量少的数据表达这些信息。我们又个好方法：不发送单个数值，而是绘制一张图表，其中X轴表示所观察到的不同牙齿数量（0,1,2…），Y 轴是看到太空蠕虫具有x颗牙齿的概率（即具有x颗牙齿的蠕虫数量/蠕虫总数量）。这样就将观察结果转换成了分布。

发送分布比发送每只蠕虫的信息更高效。但我们还能进一步压缩数据大小。我们可以用一个已知的分布来表示这个分布（比如均匀分布、二项分布、正态分布）。举个栗子，假如我们用均匀分布来表示真实分布，我们只需要发送两段数据就能恢复真实数据；均匀概率和蠕虫数量。但我们怎样才能知道那种分布能更好的解释真实分布呢？这就是KL散度的用武之地。

直观解释：KL散度是一种衡量两个分布（比如两条线）之间的匹配程度的方法。

下面对示例进行一点修改

为了能够检查数值的正确性，让我们将概率值修改成对人类更友好的值。假设如下：假设有100只蠕虫，各种牙齿数的蠕虫的数量统计结果如下。

0 颗牙齿：2（概率：p_0 = 0.02）

1 颗牙齿：3（概率：p_1 = 0.03）

2 颗牙齿：5（概率：p_2 = 0.05）

3 颗牙齿：14（概率：p_3 = 0.14

4 颗牙齿：16（概率：p_4 = 0.16）

5 颗牙齿：15（概率：p_5 = 0.15）

6 颗牙齿：12（概率：p_6 = 0.12）

7 颗牙齿：8（概率：p_7 = 0.08）

8 颗牙齿：10（概率：p_8 = 0.1）

9 颗牙齿：8（概率：p_9 = 0.08）

10 颗牙齿：7（概率：p_10 = 0.07）

 快速做一次完整性检查，确保蠕虫总数为100，且概率总和为1.0.

• 蠕虫总数 = 2+3+5+14+16+15+12+8+10+8+7 = 100

• 概率总和 = 0.02+0.03+0.05+0.14+0.16+0.15+0.12+0.08+0.1+0.08+0.07 = 1.0

可视化结果为：

尝试1：使用均匀分布模型

我们首先使用均匀分布来建模该分布。均匀分布只有一个参数：均匀概率；即给定事件发生的概率。

均匀分布和我们的真实分布对比：

先不讨论这个结果，我们再用另一种分布来建模真实分布。

尝试2：使用二项分布建模

你可能计算过抛硬币正面或背面向上的概率，这就是一种二项分布概率。我们可以将同样的概念延展到我们的问题上。对于有两个可能输出的硬币，我们假设硬币正面向上的概率为p，并且进行了n次尝试，那么其中成功k次的概率为：

公式解读：这里说明一下，二项分布中每一项的含义。第一项是p^k。我们想成功 k 次，其中单次成功的概率为p；那么成功k的概率为p^k。另外要记住我们进行了n次尝试。因此，其中失败的次数为n-k，对应失败的概率为 (1-p)。所以成功k次的概率即为联合概率。在n次尝试中，k次成功会有不同的排列方式。在数量为n的空间中k个元素的不同排列数量为将所有这些项相乘就得到了成功k次的二项分布。

二项分布的均值和方差

我们还可以定义二项分布的均值和方差

均值= np

方差= np(1-p)

均值是指进行n次尝试时的期望（平均）成功次数。如果每次尝试成功的概率为p，那么可以说n次尝试的成功次数为np。

方差假设n=1，那么等式就成了「方差= p(1-p)」。那么当p=0.5时（正面和背面向上的概率一样），方差最大；当p=1或p=0时（智能得到正面或背面中的一种），方差最小。

回来继续建模

现在我们已经理解了二项分布，接下来回到我们之前的问题。首先让我们计算蠕虫的牙齿的期望数量：

0.02*0+1*0.03+2*0.05+3*0.14+4*0.16+5*0.15+6*0.12+7*0.08+8*0.1+9*0.08+10*0.07=5.44

有了均值，我们可以计算 p 的值：

均值 = np

5.44 = 10p

p = 0.544

注意，这里的n是指在蠕虫中观察到的最大牙齿数。你可能会问我么为什么不把蠕虫总数或事件数设为n。我们很快就将看到原因。有了而这些数据，可以按照如下方式定义任意牙齿数的概率。

鉴于牙齿数的取值最大为10，那么看见k颗牙齿的概率是多少（这里看见一颗牙齿即为一次成功尝试）？

从抛硬币的角度来看，这就类似于：

假设我抛10次硬币，观察到k次正面朝上的概率是多少？

从形式上将，我们可以计算所有不同k值的概率。其中k是我们希望观测到的牙齿数量。是第k个牙齿数量位置（即 0 颗牙齿、1 颗牙齿……）的二项概率。所以，计算结果如下：

我们的真实分布和二项分布的比较如下：

总结已有情况

现在回头看看我们已经完成的工作。首先，我们理解了我们想要解决的问题。我们的问题是将待定类型的太空蠕虫的牙齿数据统计用尽量小的数据发回地球。为此，我们想到用某给已知分布来表示真实的蠕虫统计数据，这样我们就可以只发送该分布的参数，而无需发送真实统计数据。我们检查了两种类型的分布，得到了以下结果。

• 均匀分布——概率为 0.0909

• 二项分布——n=10、p=0.544，k 取值在 0 到 10 之间。

让我们在同一个地方可视化这三个分布

我们如何定量地确定那份分布更好？

经过这些计算之后我们小一种衡量每个近似分布与真实分布之间匹配程度的方法。这很重要，这样当我们发送信息时，我们才无需担忧「我是否选择对了？」毕竟太空蠕虫关乎我们每个人的生命。

这就是KL散度的用武之地。KL散度在形式上定义如下：

其中q（x）是近似分布，p（x）是我们想要用q（x）匹配的真实分布。直观的说，这衡量的是给定任意分布偏离真实分布的程度。如果两个分布完全匹配，那么，否则它的取值因该是0到无穷大（inf）之间。KL散度越小，真实分布与近似分布之间的匹配就越好。

KL 散度的直观解释

让我们看看KL散度各个部分的含义。首先看看项。如果 q(x_i) 大于 p(x_i) 会怎样呢？此时这个项的值为负，因为小于1的值的对数为负。另一方面，如果 q(x_i) 总是小于 p(x_i)，那么这个项的值为正。如果p(x_i)=q(x_i) 则该项的值为0。然后，为了使这个值为期望值，你要用 p(x_i)来给这个对数项目加权。也即是说， p(x_i)有更高概率的匹配区域比低 p(x_i) 概率的匹配区域更加重要。

直直观而言，优先正确匹配近似分布中真正高可能性的事件是有实际价值的。从数学上讲，这能让你自动忽略落在真实分布的支集（支集（support）是指分布使用的 X 轴的全长度）之外的分布区域。另外，这还能避免计算 log(0) 的情况——如果你试图计算落在真实分布的支集之外的任意区域的这个对数项，就可能出现这种情况。

计算 KL 散度

我们计算一下上面两个近似分布与真实分布之间的 KL 散度。首先来看均匀分布：

再看看二项分布：

玩一玩 KL 散度

现在，我们来玩一玩 KL 散度。首先我们会先看看当二元分布的成功概率变化时 KL 散度的变化情况。不幸的是，我们不能使用均匀分布做同样的事，因为 n 固定时均匀分布的概率不会变化。

可以看到，当我们远离我们的选择（红点）时，KL 散度会快速增大。实际上，如果你显示输出我们的选择周围小 Δ 数量的 KL 散度值，你会看到我们选择的成功概率的 KL 散度最小。

现在让我们看看和的行为方式。如下图所示：

看起来有一个区域中的和之间有最小的距离。让我们绘出两条线之间的差异（虚线），并且放大我们的概率选择所在的区域。

看起来我们的概率选择也位于非常接近和有最低差异的区域（但并不是最低差异的区域）。但这仍然是一个很有意思的发现。我不确定出现这种情况的原因是什么。如果有人知道，欢迎讨论。

结论

现在我们有些可靠的结果了。尽管均匀分布看起来很简单且信息不多而二项分布带有更有差别的信息，但实际上均匀分布与真实分布之间的匹配程度比二项分布的匹配程度更高。说老实话，这个结果实际上让我有点惊讶。因为我之前预计二项分布能更好地建模这个真实分布。因此，这个实验也能告诉我们：不要只相信自己的直觉！