37、指数族与图模型推理：概念、复杂度与应用

指数族与图模型推理：概念、复杂度与应用

在概率与统计领域，指数族和图模型推理是两个重要的概念。指数族为研究相关分布族提供了基础，而图模型推理则在实际应用中用于解决各种概率查询问题。下面将详细介绍指数族的相关概念，以及图模型推理的复杂度分析。

指数族的基本概念

指数族是一个重要的概率分布族，它为研究相关分布提供了基础。我们定义了指数族的形式，以及它的一个子类——线性指数族。线性指数族相对简单，并且涵盖了实际中出现的大部分分布。

• 常见分布与指数族的关系

  • 高斯分布、线性高斯分布和多项分布都属于线性指数族。
  • 任何可以通过参数化固定结构的马尔可夫网络表示的分布类也属于线性指数族。
  • 然而，具有固定结构的贝叶斯网络表示的分布类属于指数族，但当网络结构包含不道德结构时，不属于线性指数族。

• 指数族的应用

  • 我们可以使用指数族的公式来简化计算，例如计算分布的熵或两个分布之间的相对熵。
  • 相对熵的计算为分析分布的基本操作提供了基础，即把一个一般分布 $P$ 投影到某个指数族 $Q$ 中，找到 $Q$ 中最接近 $P$ 的分布。

由于相对熵的概念是非对称的，因此产生了两种不同的定义：
- I - 投影 ：最小化 $I_D(Q||P)$。
- M - 投影 </