概率分布及共轭先验

最新推荐文章于 2024-12-02 13:44:39 发布

尬维

最新推荐文章于 2024-12-02 13:44:39 发布

阅读量1.3k

点赞数

分类专栏：概率学习文章标签：统计学概率论

原文链接：https://blog.youkuaiyun.com/u014313009/article/details/50849694/

版权

概率学习专栏收录该内容

5 篇文章

订阅专栏

申明：

本博客仅作为博主的学习笔记，转载自优快云博主：__鸿。

原文链接：

https://blog.youkuaiyun.com/u014313009/article/details/50849694/

1.二值变量的概率分布

1.1 伯努利分布（Bernouli distribution）

1.2 二项分布（Binomial distribution）

注：对于小的数据集，如果对二项分布采用极大似然估计，会得到过拟合（over-fitting）的估计结果。可以采用贝叶斯的方法，引入共轭先验分布（conjugate prior distribution）来解决这个问题。共轭先验，其方法是选取一个与似然函数共轭的先验分布，其目的是使得后验分布与先验分布有同样的函数形式。

1.3 Beta分布

2.多项式变量的概率分布

2.1 多项式分布（Multinomial distribution）

2.2 狄利克雷分布（Dirichlet distribution）

3.高斯分布（Gaussian distribution）

3.1 条件高斯分布

3.2 边缘概率分布（Marginal Gaussian distribution）

3.3 高斯变量的贝叶斯理论

3.4 高斯最大似然估计

3.5 顺序估计（Sequential estimation）

3.6 高斯分布的贝叶斯推理

3.6.1 单变量高斯分布

（1）方差已知，均值未知待估计：

（2）均值已知，方差未知待估计：

（3）均值和方差均未知待估计：

3.6.2 多变量高斯分布

（1）方差已知，均值未知待估计：共轭先验仍为高斯分布

（2）均值已知，方差未知待估计：共轭先验为Wishart分布，形式如下

（3）均值和方差均未知待估计：

总结：

各分布与其共轭分布对应表
/	分布	共轭分布
/	二项分布 $Bin(m\|N,\mu )$	Beta分布 $Beta(\mu\|a,b)$
/	多项式分布 $Mult(m_1,m_2,...,m_K\|\mu,N)$	Dirichlet分布 $Dir(\mu\|\alpha)$
单变量	$\sigma$ 已知， $\mu$ 未知的高斯分布	高斯分布 $N(\mu\|\mu_0,\sigma_{0}^{2}))$
	$\mu$ 已知， $\sigma$ 未知的高斯分布	Gamma分布 $Ga(\lambda\|a,b)$
	$\sigma$ 和 $\mu$ 均未知的高斯分布	高斯-Gamma分布
多变量	$\sigma$ 已知， $\mu$ 未知的高斯分布	高斯分布
	$\mu$ 已知， $\sigma$ 未知的高斯分布	Wishart $W(\Lambda \|W,\nu )$
	$\sigma$ 和 $\mu$ 均未知的高斯分布	高斯-Wishart分布

注：高斯分布中的 $\lambda$ 为精度，与 $\sigma$ 的关系如下： $\lambda=\frac{1}{\sigma^2}$ 。对于均值已知，方差未知的高斯分布，若不使用精度 $\lambda$ 进行计算，而是直接考虑方差本身，则其共轭分布为Inverse Gamma，即逆Gamma分布。