KL散度(Kullback–Leibler divergence)非负性证明

最新推荐文章于 2025-04-25 01:23:43 发布

__Destiny__

最新推荐文章于 2025-04-25 01:23:43 发布

阅读量8.8k

点赞数 37

CC 4.0 BY-SA版权

分类专栏：算法文章标签：概率论算法机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/root_clive/article/details/103941412

算法专栏收录该内容

18 篇文章

订阅专栏

Reference：

1、(越)范建熊，不等式的秘密第1卷第2版

KL散度(Kullback–Leibler divergence)的定义如下：

$D_{KL}=\sum_{i=1}^{n}P(x_i)\times log(\frac{P(x_i)}{Q(x_i)})$

下面证明上式是非负的。

1、凸函数

连续函数 $f(x)$ 的定义域为 $I$ ，如果对 $I$ 内任意两个实数 $x_1$ ， $x_2$ 及任意实数 $\lambda \in \(0,1\)$ ，都有

$f(\lambda x_1+(1-\lambda)x_2)\leq\lambda f(x_1)+(1-\lambda)f(x_2)$ （1）

则称 $f(x)$ 为 $I$ 上的凸函数，也称下凸函数。

将上面式（1）的不等号反向，即

$f(\lambda x_1+(1-\lambda)x_2)\geq \lambda f(x_1)+(1-\lambda)f(x_2)$ （2）

则称 $f(x)$ 为 $I$ 上的凹函数，也称上凸函数。

上面对于函数凹凸性的定义和同济大学第六版高等数学上的定义不同，同济大学高等数学将式（1）所示函数称为凹函数，将式（2）所示函数称为凸函数。下面将按照上面的定义进行讨论，本文中的 $log(x)$ 的底数是常数 $e$ 或者以2，总之对于底数大于1的情形， $log(x)$ 的凹凸性是一致的， $log(x)$ 是凹函数， $-log(x)$ 是凸函数。

2、引理，加权Jensen不等式（参考文献1，46页）

若 $f(x)$ 是区间 $[a,b]$ 上的凸函数，则对任意的实数 $x_1,x_2,\cdots,x_n\in [a,b]$ ，对所有非负实数 $a_1,a_2,\cdots a_n \geq 0$ ，且 $a_1+a_2+\cdots +a_n = 1$ ，则下列不等式成立。

$f(a_1x_1+a_2x_2+\cdots +a_nx_n)\leq a_1f(x_1)+a_2f(x_2)+\cdots + a_nf(x_n)$

3、下面证明KL散度非负性

KL散度定义如下：

$D_{KL}=\sum_{i=1}^{n}P(x_i)\times log(\frac{P(x_i)}{Q(x_i)})$

上面的式子中

$\sum_{i=1}^{n}P(x_i) = 1$

由于 $log(x)$ 是凹函数， $-log(x)$ 是凸函数，因此将KL散度定义式变形并应用加权Jensen不等式，可以得到：

$D_{KL}=\sum_{i=1}^{n}P(x_i)\times (-log(\frac{Q(x_i)}{P(x_i)}))\geq -log(\sum_{i=1}^n P(x_i)\times \frac{Q(x_i)}{P(x_i)})= -log(\sum_{i=1}^nQ(x_i))$

由于 $Q(x_i)$ 是一个概率分布，因此和 $P(x_i)$ 一样满足下面的式子

$\sum_{i=1}^{n}Q(x_i) = 1$

因此可以得到

$D_{KL}\geq -log(1)= 0$

到此KL散度非负性得证。

原文中最后一个公式推导有问题(已经改正)，感谢评论区的朋友指正

评论 6

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。