狄利克雷分布

狄利克雷分布（Dirichlet Distribution）是一个定义在多维概率简单x上的分布，广泛应用于贝叶斯统计和机器学习中，尤其是在主题模型和聚类分析中。它是Beta分布在多维空间的推广。

数学定义

狄利克雷分布是一个参数化的分布，其参数为一个维度为$K$的向量$\alpha =({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_K)$，每个元素${\alpha }_i$称为浓度参数。狄利克雷分布的概率密度函数（PDF）定义为：

$f(x_1,x_2,\dots ,x_K;{\alpha }_1,{\alpha }_2,\dots ,{\alpha }_K)=\frac{1}{B(\alpha )}{\prod }_{i=1}^K{x}_i^{{\alpha }_i-1}$

其中：

• $x=(x_1,x_2,\dots ,x_K)$满足${\sum }_{i=1}^K{x}_i=1$且$x_i\ge 0$。
• ${\alpha }_i>0$为浓度参数。
• $B(\alpha )$是Beta函数的多维推广，定义为：

$B(\alpha )=\frac{{\prod }_{i=1}^K\Gamma ({\alpha }_i)}{\Gamma \left({\sum }_{i=1}^K{\alpha }_i\right)}$

其中$\Gamma$是Gamma函数。Gamma函数的基本定义式为：
$$\Gamma (z)={\int }_0^{\infty }{t}^{z-1}{e}^{-t}dt$$
这是对复数$z$且$\Re (z)>0$的定义。

性质

1. 共轭先验：狄利克雷分布在贝叶斯统计中作为多项式分布的共轭先验分布，这使得在进行贝叶斯更新时计算更加简便。
2. 期望和方差：如果$X\sim \text{Dir}(\alpha )$，则其期望为：

$\mathbb{E}[X_i]=\frac{{\alpha }_i}{{\sum }_{j=1}^K{\alpha }_j}$

方差为：

$$\text{Var}[X_i]=\frac{{\alpha }_i({\alpha }_0-{\alpha }_i)}{{\alpha }_0^2({\alpha }_0+1)}$$

其中 ${\alpha }_0={\sum }_{j=1}^K{\alpha }_j$。

应用

1. LDA（Latent Dirichlet Allocation）：在主题模型中，狄利克雷分布用于生成文档主题分布和主题词分布。
2. 聚类分析：狄利克雷过程（Dirichlet Process）是一种非参数贝叶斯方法，用于确定聚类的数量。
3. 贝叶斯推断：在贝叶斯统计中，作为多项式分布的先验。

总之，狄利克雷分布是一个非常强大且广泛应用的工具，特别是在贝叶斯方法和概率模型中。