49、概率分布间的距离度量

概率分布间的距离度量

1. 引言

在机器学习中，监督学习和无监督学习都可以从最小化概率分布之间的距离这一角度来理解。监督学习旨在最小化模型所隐含的概率分布与样本所隐含的离散概率分布之间的距离；无监督学习则通常是最小化真实示例的概率分布与模型生成数据的分布之间的距离。因此，我们需要一种衡量两个概率分布之间距离的方法。接下来将介绍几种不同的概率分布距离度量方法。

2. 常见的概率分布距离度量

2.1 Kullback - Leibler 散度

Kullback - Leibler（KL）散度是衡量两个概率分布 $p(x)$ 和 $q(x)$ 之间距离最常用的方法，其定义为：
[D_{KL}\left[p(x)||q(x)\right] = \int p(x) \log\left[\frac{p(x)}{q(x)}\right] dx]

这个距离总是大于或等于零，证明如下：
已知 $-\log[y] \geq 1 - y$，则
[
\begin{align }
D_{KL}\left[p(x)||q(x)\right] &= \int p(x) \log\left[\frac{p(x)}{q(x)}\right] dx\
&= -\int p(x) \log\left[\frac{q(x)}{p(x)}\right] dx\
&\geq \int p(x) \left(1 - \frac{q(x)}{p(x)}\right) dx\
&= \int p(x) - q(x)dx\
&= 1 - 1 =