K-L 散度又称相对熵, 是度量两个分布之间距离的一种方法. 设有两个概率密度 g(x), f(x), 假设 g(x)>0, 则它们的 K-L 散度定义为
D
(
f
∣
∣
g
)
=
∫
f
(
x
)
ln
f
(
x
)
g
(
x
)
d
x
D(f||g)=\int f(x) \ln \frac{f(x)}{g(x)} dx
D(f∣∣g)=∫f(x)lng(x)f(x)dx
下证
D
(
f
∣
∣
g
)
≥
0
D(f||g)\geq 0
D(f∣∣g)≥0.
∫
f
(
x
)
ln
f
(
x
)
g
(
x
)
d
x
=
−
∫
f
(
x
)
ln
g
(
x
)
f
(
x
)
d
x
≥
−
∫
f
(
x
)
(
g
(
x
)
f
(
x
)
−
1
)
d
x
=
−
∫
g
(
x
)
−
f
(
x
)
d
x
=
0.
\begin{aligned} &\int f(x) \ln \frac{f(x)}{g(x)} dx \\ =& -\int f(x) \ln \frac{g(x)}{f(x)} dx \\ \geq & -\int f(x) (\frac{g(x)}{f(x)}-1) dx \\ =&-\int g(x)-f(x) dx \\ =&0. \end{aligned}
=≥==∫f(x)lng(x)f(x)dx−∫f(x)lnf(x)g(x)dx−∫f(x)(f(x)g(x)−1)dx−∫g(x)−f(x)dx0.
这里关键是要用和
ln
x
\ln x
lnx 相关的不等式
ln
x
≤
x
−
1
\ln x \leq x-1
lnx≤x−1. 上述最后一个等式成立是因为
f
(
x
)
,
g
(
x
)
f(x), g(x)
f(x),g(x) 都是概率密度函数, 它们的积分值相等, 均为 1.
扫一扫
06-07
1010
1010
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
