20、概率分布学习：从理论到实践

概率分布学习：从理论到实践

1. 狄利克雷分布与多元高斯分布

1.1 狄利克雷分布

狄利克雷分布在单纯形 (x_1, x_2, x_3 \geq 0) 且 (x_1 + x_2 + x_3 = 1) 上展示，不同的参数 ((u_1, u_2, u_3)) 会产生不同的分布形态。例如，当参数分别为 ((3, 3, 3))、((0.1, 1, 1))、((4, 3, 2)) 和 ((0.05, 0.05, 0.05)) 时，分布的概率高低会有明显差异，黑色表示低概率，白色表示高概率。并且，单个分量 (\theta_i) 的边缘分布是 Beta 分布，公式为：
[p(\theta_i) = B\left(\theta_i|u_i, \sum_{j\neq i}u_j\right)]

1.2 多元高斯分布

多元高斯分布在数据分析中起着核心作用，其定义如下：
[p(x|\mu, \Sigma) = N (x \mu, \Sigma) \equiv \frac{1}{\sqrt{\det (2\pi\Sigma)}}e^{-\frac{1}{2} (x - \mu)^T\Sigma^{-1}(x - \mu)}]
其中，(\mu) 是分布的均值向量，(\Sigma) 是协方差矩阵，(\Sigma^{-1}) 被称为精度。同时，有以下关系成立：
[\mu = \langle x\rangle_{N(x \mu,\Sigma)}]
[\Sigma = \left\langle (x - \mu) (x - \mu)^T\right\rangle_{N(x \mu,\Sigma)}]

多元高斯分布有两种表示方式：矩表