KL散度（Kullback-Leibler divergence）

KL散度

1 数学定义

• 真实分布：$P(x)$
• 近似分布：$Q(x)$

1.1 离散分布

$$D_{\text{KL}}(P\parallel Q)=\sum _{x}P(x)\log \frac{P(x)}{Q(x)}$$

1.2 连续分布

$$D_{\text{KL}}(P\parallel Q)=\int P(x)\log \frac{P(x)}{Q(x)}dx$$

1.3 说明

• $\log \frac{P(x)}{Q(x)}$衡量在每个点 $x$ 处两个分布的偏离程度。
• $D_{\text{KL}}(P\parallel Q)$ 表示用分布 $Q$ 近似分布 $P$ 时所“付出的代价”或“信息损失”。

KL 散度对概率分布极为敏感：

• 在高概率区域的差异被放大
• 在低概率区域的差异被抑制

2 性质

2.1 非负性

根据Jensen不等式，凸函数（convex）满足
$$f(\mathbb{E}[X])\le \mathbb{E}[f(X)]$$

取对数函数 $f(x)=\log x$（凹函数，$-\log$ 为凸函数），则
$$\begin{array}{rl}-D_{\text{KL}}(P\parallel Q)& =-\sum _{x}P(x)\log \frac{P(x)}{Q(x)}\\ & =\sum _{x}P(x)\log \frac{Q(x)}{P(x)}\\ & \le \log (\sum _{x}P(x)\frac{Q(x)}{P(x)})\\ & =\log (\sum _{x}Q(x))=\log 1=0.\end{array}$$
因此
$$-D_{\text{KL}}(P\parallel Q)\le 0⟹D_{\text{KL}}(P\parallel Q)\ge 0.$$
当且仅当 $\frac{Q(x)}{P(x)}$ 为常数，即 $P(x)=Q(x)$ 几乎处处成立时，等号成立。

2.2 可加性

对于离散分布：
$$D_{\text{KL}}(P\parallel Q)=\sum _{x}P(x)\log \frac{P(x)}{Q(x)}$$

若 $P=P_1{P}_2$ 且 $Q=Q_1{Q}_2$（多维独立分布的乘积），则有
$$D_{\text{KL}}(P_1{P}_2\parallel Q_1{Q}_{}$$