7、数学基础与优化问题详解

数学基础与优化问题详解

1. 互信息与KL散度

互信息 (I(X,Y)) 可以表示为如下形式的KL散度：
[I(X,Y) = KL\left(\frac{p(x, y)}{p(x)p(y)}\right)]
这一公式首先证明了互信息 (I(X,Y)) 总是非负的，因为它是KL散度的一种特殊形式。并且，当且仅当对于所有的 (x) 和 (y) 都有 (p(x, y) = p(x)p(y)) 时，(I(X,Y) = 0)，这意味着 (X) 和 (Y) 是相互独立的。因此，互信息可以看作是从随机变量相互独立这一假设中获得的信息增益。

下面通过一个例子来计算两个单变量高斯分布的KL散度。

示例 ：计算两个具有相同方差 (\sigma^2) 的单变量高斯分布 (N(x | \mu_1, \sigma^2)) 和 (N(x | \mu_2, \sigma^2)) 之间的KL散度。
根据KL散度的定义，有：
[
\begin{align }
KL\left(\frac{N(x | \mu_1, \sigma^2)}{N(x | \mu_2, \sigma^2)}\right) &= \int N(x | \mu_1, \sigma^2) \log \frac{N(x | \mu_1, \sigma^2)}{N(x | \mu_2, \sigma^2)} dx\
&= -\frac{1}{2\sigma^2} \int N(x | \mu_1, \sigma^2) \left[(\mu_1^2 - \mu_2^2) - 2x(\mu_1 - \mu_2)\right