32、统计概率与信号处理知识详解

统计概率与信号处理知识详解

1. 统计概率分布

1.1 Wishart分布

Wishart分布是一种共轭先验分布。对于一个m维变量x，其多元高斯分布为$N(x|\mu, \Lambda^{-1})$。若精度已知，共轭先验分布仍为高斯分布；若均值已知但精度未知，对于矩阵$\Lambda$，其共轭先验分布就是Wishart分布，表达式为：
$W(\Lambda|W, n) = G|\Lambda|^{(n - m - 1)/2} \exp\left[-\frac{1}{2} \text{trace}(W^{-1}\Lambda)\right]$
其中，n是分布的自由度，W是一个$m \times m$的缩放矩阵。归一化常数G为：
$G(W, n) = |W|^{-n/2} 2^{nd/2} \pi^{d(d - 1)/4} \prod_{i = 1}^{d} \left[\Gamma\left(\frac{n + 1 - i}{2}\right)\right]^{-1}$

除了考虑精度矩阵，共轭先验也可以针对对比度矩阵来定义。若均值和精度都未知，则得到高斯 - Wishart分布，其共轭先验为：
$p(\mu, \Lambda|\mu_0, \beta, W, n) = N(\mu|\mu_0, (\beta\Lambda)^{-1}) W(\Lambda|W, n)$

1.2 其他分布

• 指数分布 ：对于取值在$[0, 1)$的随机变量y，其指数分布可表示为$p(y) = k \exp(-ky)$。若x是在$[0, 1]$上均匀分布的随机变量，通