正态分布的KL散度

原创

已于 2022-05-08 17:15:59 修改 · 3.2k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#概率论 #线性代数 #矩阵

于 2022-05-08 17:10:17 首次发布

这篇博客详细探讨了一维和高维正态分布的KL散度计算，包括证明思路和公式推导。从一维正态分布的KL散度开始，引入了协方差矩阵和迹的性质，然后扩展到高维正态分布的情况，最后讨论了分量独立的高维正态分布的KL散度。

正文

一维正态分布的KL散度证明思路

记 $\mathcal{N}(x; \mu_1, \sigma_1^2), p(x) = \mathcal{N}(x; \mu_2, \sigma_2^2), \phi(x) = \log \frac{q(x)}{p(x)} = c_2 x^2 + c_1 x + c_0$ .

则 $KL(q∥p)=∫q(x)ϕ(x)dx=c2(∫q(x)x2dx)+c1(∫q(x)xdx)+c0(∫q(x)dx)\mathrm{KL}(q \| p) = \int q(x) \phi(x) \mathrm{d} x = c_2 \left( \int q(x) x^2 \mathrm{d} x \right) + c_1 \left( \int q(x) x \mathrm{d} x \right) + c_0 \left( \int q(x) \mathrm{d} x \right)$ .

其中 $∫q(x)x2dx=Eq(x)[x2]=Var[x]+Eq(x)[x]2=σ12+μ12,∫q(x)xdx=Eq(x)[x]=μ1,∫q(x)dx=1\int q(x) x^2 \mathrm{d} x = \mathop{\mathbb{E}}\limits_{q(x)}[x^2] = \mathrm{Var}[x] + \mathop{\mathbb{E}}\limits_{q(x)}[x]^2 = \sigma_1^2 + \mu_1^2, \int q(x) x \mathrm{d} x = \mathop{\mathbb{E}}\limits_{q(x)}[x] = \mu_1, \int q(x) \mathrm{d} x = 1$