5、多元正态分布与计算机视觉问题中的模型与推理

多元正态分布与计算机视觉问题中的模型与推理

多元正态分布的基础

在机器视觉中，多元正态分布是表示不确定性最常用的方式。它有两个关键参数：均值 $\mu$ 和协方差 $\Sigma$。均值 $\mu$ 是一个 $D\times1$ 的向量，描述了分布的位置；协方差 $\Sigma$ 是一个对称的 $D\times D$ 正定矩阵，描述了分布的形状。其概率密度函数为：
[Pr(x) = \frac{1}{(2\pi)^{D/2}|\Sigma|^{1/2}}\exp\left[-0.5(x - \mu)^T \Sigma^{-1}(x - \mu)\right]]
也可简写为 $Pr(x) = Norm_x [\mu,\Sigma]$。

协方差矩阵的类型

协方差矩阵有三种形式，分别是球形、对角和全协方差矩阵。以二维情况为例：
- 球形协方差矩阵：$\Sigma_{spher} = \begin{bmatrix}\sigma^2 & 0 \ 0 & \sigma^2\end{bmatrix}$，它是单位矩阵的正倍数，对角元素相同，其余元素为零。在二维中，它产生圆形的等密度轮廓。
- 对角协方差矩阵：$\Sigma_{diag} = \begin{bmatrix}\sigma_1^2 & 0 \ 0 & \sigma_2^2\end{bmatrix}$，对角元素为不同的正值，其余元素为零。在二维中，它产生与坐标轴对齐的椭圆形等密度轮廓。
- 全协方差矩阵：$\Sigma_{full} = \begin{bmatrix}\sigma_{11}^2 & \sigma_{12}^2 \ \sigma_