34、高斯网络与指数族分布的深入解析

高斯网络与指数族分布的深入解析

1. 高斯网络的表示与独立性

高斯网络模型主要聚焦于多元高斯分布、线性高斯贝叶斯网络和高斯马尔可夫随机场（MRF）这三种表示形式。这三种形式在表达能力上是等价的，即任何一种形式表示的分布都能转换为其他形式。

• 多元高斯与线性高斯贝叶斯网络的转换 ：存在封闭形式的公式用于实现两者之间的转换。
• 马尔可夫网络的转换 ：在某种意义上更为简单，因为高斯分布的信息（逆协方差）矩阵元素与马尔可夫网络中边势参数化的二次形式之间存在直接映射。但要注意，并非所有成对马尔可夫网络的二次参数化都能诱导出合法的高斯分布，因为组合所有成对势产生的二次形式可能没有有限积分，从而不可归一化。

以一个例子来说明，考虑信息矩阵均值向量为 0 的情况。最初定义节点势为 $J_{i,i}x_{i}^{2}$，边势为 $2J_{i,j}x_{i}x_{j}$，此时 X1, X2 边不能定义一个可归一化的密度，该 MRF 不可成对归一化。但通过重新定义节点势 $\epsilon_{i}(x_{i}) = 0.05x_{i}^{2}$，边势 $\epsilon_{1,2}(x_{1}, x_{2}) = 0.2625x_{1}^{2} + 0.0033x_{2}^{2} - 0.25x_{1}x_{2}$ 和 $\epsilon_{2,3}(x_{2}, x_{3}) = 0.53x_{2}^{2} + 0.2833x_{3}^{2} + 0.6666x_{2}x_{3}$，可以诱导出相应的信息矩阵，且该形式是成对可归一化的，因为三个节点势为正，两个边势为正定。

<