100、线性高斯模型：多元高斯分布的有向图表示

线性高斯模型：多元高斯分布的有向图表示

1. 引言

在概率模型中，我们常常需要处理多个变量的联合概率分布。之前我们了解了如何通过有向无环图将离散变量表示为节点，从而构建联合概率分布。而本文将探讨如何把多元高斯分布表示为对应于线性高斯模型的有向图，这种表示方式可以为分布施加有趣的结构。

2. 线性高斯模型概述

线性高斯模型是一种广泛应用的技术，像概率主成分分析、因子分析和线性动态系统等都是其具体示例。该模型允许我们在分布上施加特定结构，一般高斯分布和对角协方差高斯分布则代表了两种极端情况。

2.1 模型设定

考虑一个包含 $D$ 个变量的任意有向无环图，其中节点 $i$ 代表一个具有高斯分布的连续随机变量 $x_i$。该分布的均值是其父节点状态的线性组合，即：
[p(x_i|\pi_i) = \mathcal{N}\left(x_i \middle| \sum_{j\in\pi_i} w_{ij}x_j + b_i, v_i\right)]
这里，$w_{ij}$ 和 $b_i$ 是控制均值的参数，$v_i$ 是 $x_i$ 条件分布的方差。

2.2 联合分布的对数形式

联合分布的对数是图中所有节点的条件分布乘积的对数，其形式如下：
[\ln p(x) = \sum_{i=1}^{D} \ln p(x_i|\pi_i) = -\sum_{i=1}^{D} \frac{1}{2v_i} \left(x_i - \sum_{j\in\pi_i} w_{ij}x_j - b_i\right)^2 + \text{const}]
其中，$x = (x_1, \