狄利克雷分布

  1. 狄利克雷分布:

    是一个多维分布,一个K 维狄利克雷分布的参数是一个K维向量 =[],

狄利克雷分布的概率密度函数为:

——————————————————————1

其中 是变量,且 表示伽马函数。在这里伽马函数部分充当的是归一化因子的作用。

我们把狄利克雷分布记作

2.分类分布(Categorical distribution),也叫离散分布(Discrete Distribution):

    概率质量函数(分布列,相当于在连续分布中的概率密度函数)为:

其中 ——————————————————2

这个函数的意思就是,变量z取值为k的概率是

记作

3.多项式分布:

我们从中采样N 次,把取值为k 的样本个数记为,那么随机变量服从参数为N和的多项式分布(Multinomial Distribution),其概率质量函数为

————————————————————————3

 

 

由以上三个分布的概率质量函数,现在以狄利克雷分布为先验(即让离散分布和多项分布中的参数π服从狄利克雷分布),在有了N个观测样本之后参数π的后验分布为:

    ————————————————————————4    

比较得,π的先验分布(式1)与后验分布(式4)具有相同的形式不同的参数,所以我们说狄利克雷分布是离散分布和多项式分布的共轭先验

当我们观察到更多的样本时,只需更新后验分布的参数便可得到新的后验分布为而不需要对π的分布进行估计。这是以狄利克雷分布作为先验的优势所在。

转载于:https://www.cnblogs.com/simayuhe/p/5145759.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值