一.Beta分布与Dirichilet分布简述
beta分布是关于x∈[0,1]的概率密度,表示x取值的概率,它包含了2个参数:α和β。数学形式如下:
Beta(α,β): prob(x|α,β) = [x^(α-1)*(1-x)^(β-1)] / B(α,β),
其中Beta函数B(α,β)是x^(α-1)*(1-x)^(β-1)在[0,1]上的积分,是一个规范化因子,使得 prob(x|α,β)的取值∈[0,1]。B(α,β)又可以写成 (α!β!) / (α+β)! 的形式。 当把x可以看做一个变量X的取值概率(即概率密度),用更直观的方式x=p,beta分布的本质化为“关于分布的分布”。这时,可以把x扩展为一个2维的向量,(p,1-p),分别对应X的两个可能值(x1,x2)的取值概率。Beta(α,β): prob( (p,1-p)|α,β) = [p^(α-1)*(1-p)^(β-1)] / [ (α!β!) / (α+β)! ]。把这一情况扩展到 N 维向量的情况,即某个变量X具有 N 个可能的取值,分别为{x1,x2,...,xn},它们的取值概率分别为μ={μ1,μ2,...,μn},μ1+μ2+...+μn = 1,同样对应N个参数α={α1,α2,...,αn}。这时Beta分布演变为Dirichlet分布:
Dir(α) = prob(μ|α) = [μ1^(α1-1)*(μ2)^(α2-1)*...*(μn)^(αn-1) ] / [ (α1!α2!...αn!) / (α1+α2+...+αn)! ]Dirichlet分布用一个公式来描述“观察到一个N维向量各种取值”的概率。(Gives a formula which tells how likely we are to observe a par