22、高斯分布的边缘分布、条件分布及贝叶斯定理应用

高斯分布的边缘分布、条件分布及贝叶斯定理应用

1. 边缘高斯分布

在概率分布中，如果联合分布 (p(x_a, x_b)) 是高斯分布，那么条件分布 (p(x_a|x_b)) 同样是高斯分布。现在我们来探讨边缘分布 (p(x_a))，其定义为：
[p(x_a) = \int p(x_a, x_b) dx_b]
可以证明，边缘分布 (p(x_a)) 也是高斯分布。为了高效地计算这个分布，我们的策略是关注联合分布指数中的二次型，从而确定边缘分布 (p(x_a)) 的均值和协方差。

联合分布的二次型可以使用分块精度矩阵表示为式 (2.70)。由于我们的目标是对 (x_b) 进行积分，所以最简便的方法是先考虑涉及 (x_b) 的项，然后通过配方法来简化积分。

涉及 (x_b) 的项可以表示为：
[-\frac{1}{2}x_b^T \Lambda_{bb}x_b + x_b^T m = -\frac{1}{2}(x_b - \Lambda_{bb}^{-1} m)^T \Lambda_{bb}(x_b - \Lambda_{bb}^{-1} m) + \frac{1}{2}m^T \Lambda_{bb}^{-1} m]
其中，(m = \Lambda_{bb}\mu_b - \Lambda_{ba}(x_a - \mu_a))。

可以看到，对 (x_b) 的依赖已经转化为高斯分布核心的标准二次型，加上一个不依赖于 (x_b) 但依赖于 (x_a) 的项。因此，当我们对这个二次型取指数时，式 (2.83) 所需的对 (x_b) 的积分将具有以下形式：
[\int \exp\left{-\frac{1}{2}(x_b -