25、概率分布中的高斯相关分布解析

概率分布中的高斯相关分布解析

1. 多元高斯分布的共轭先验

在处理多元高斯分布 $N(x|\mu, \Lambda^{-1})$ 时，对于 $D$ 维变量 $x$，不同情况下的共轭先验有所不同：
- 已知精度时均值的共轭先验 ：当精度已知时，均值 $\mu$ 的共轭先验仍然是高斯分布。
- 已知均值时精度矩阵的共轭先验 ：当均值已知但精度矩阵 $\Lambda$ 未知时，共轭先验是 Wishart 分布，其表达式为：
- $W(\Lambda|W, \nu) = B|\Lambda|^{(\nu - D - 1)/2} \exp\left(-\frac{1}{2}Tr(W^{-1}\Lambda)\right)$
- 其中，$\nu$ 被称为分布的自由度，$W$ 是一个 $D\times D$ 的尺度矩阵，$Tr(\cdot)$ 表示矩阵的迹。归一化常数 $B$ 由下式给出：
- $B(W, \nu) = |W|^{-\nu/2} 2^{\nu D/2} \pi^{D(D - 1)/4} \left(\prod_{i = 1}^{D} \Gamma\left(\frac{\nu + 1 - i}{2}\right)\right)^{-1}$
- 均值和精度都未知时的共轭先验 ：当均值和精度都未知时，共轭先验由下式给出：
- $p(\mu, \Lambda|\mu_0, \beta, W, \nu) = N(\mu|\mu_0, (\beta\Lambda)^{-1}) W(\Lambda|W, \nu)$
- 这被称为正态 -