36、指数族分布中的投影方法解析

指数族分布中的投影方法解析

在概率分布的研究中，当我们需要用一个结构简单的分布去近似一个复杂分布时，投影操作就显得尤为重要。这种近似方法在精确推理不可行的网络中进行近似推理时，是一种关键策略。同时，学习图形模型的问题也可以被看作是将数据中观察到的经验分布投影到一个期望的分布族上的问题。

1. 投影的定义

假设我们有一个分布 $P$，想要用分布族 $Q$ 中的另一个分布 $Q$ 来近似它。由于相对熵的概念是非对称的，我们可以用它来定义两种类型的近似，即 I - 投影和 M - 投影。
- I - 投影（信息投影） ：$P$ 到 $Q$ 的 I - 投影 $Q_I$ 定义为：$Q_I = \arg\min_{Q\in Q} D(Q||P)$。
- M - 投影（矩投影） ：$P$ 到 $Q$ 的 M - 投影 $Q_M$ 定义为：$Q_M = \arg\min_{Q\in Q} D(P||Q)$。

2. I - 投影和 M - 投影的比较

虽然 $Q_I$ 和 $Q_M$ 都可以看作是 $P$ 到集合 $Q$ 的投影，即与 $P$ 最接近的分布，但由于相对熵的非对称性，这两种投影通常是不同的。下面通过几个例子来理解它们的差异。

2.1 非高斯分布投影到高斯分布族

假设有一个实数上的非高斯分布 $P$，考虑它在高斯分布族上的 M - 投影和 I - 投影。以图中的分布 $P$ 为例，两个投影是不同的高斯分布。尽管两个投影分布的均值相对接近，但 M - 投影的方差比 I - 投影大。

从目标函数的角度来看，