先验分布、后验分布、共轭分布、共轭先验分布、

参考：

http://blog.sina.com.cn/s/blog_b9a335010102vfdf.html

0. 贝叶斯公式

X为抽样样本，P(X)为我们抽到该样本的概率，有时被称为"证据"，仅仅是归一化因子，如果不关心后验概率P(θ|X)的具体值，只考察θ取何值时后验概率P(θ|X)最大，则可将分子P(X)省略

1. 先验信息

在抽取样本X之前，人们对所要估计的未知参数θ所了解的信息，通常称为先验信息.

某学生通过物理试验来确定当地的重力加速度，测得的数据为(m/s²):

9.80,  9.79,  9.78,  6.81,  6.80

试求当地的重力加速度.

解：用样本均值估计其重力加速度应该是合理的，即

θ平均 = 8.596

由经验可知，此结果是不符合事实的。在估计之前我们知道，重力加速度应该在9.80附近，即

θ~N(9.80,0.1^2)

这个信息就是重力加速度的先验信息

在统计学中，先验信息可以更好的帮助人们解决

2. 先验分布

对未知参数θ的先验信息用一个分布形式P(θ)来表示，此分布p(θ)称为未知参数θ的先验分布.(即在实验前通过已知信息知道的分布)

上例中重力加速度的先验分布为 θ~N(9.80,0.1^2)

3. 后验分布

在抽取样本X之前，人们对未知参数θ有个了解，即先验分布P(θ)。抽取样本X，得到样本信息，即似然函数P(X|θ)，由于样本中包含未知参数θ的信息，所以样本信息可以修正抽样之前的先验分布P(θ)。P(θ|X)为参数θ的后验分布，即抽样加入新的信息后，对先验分布P(θ)进行修正，后验分布综合运用了先验分布P(θ)和样本信息P(X|θ)。

4. 共轭先验分布

在贝叶斯概率理论中，如果后验概率P(θ|X)和先验概率P(θ)满足同样的分布律(形式相同，参数不同)。那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。

共轭分布总是针对分布中的某个参数θ而言。之所以采用共轭先验的原因是可以使得先验分布和后验分布的形式相同，但是参数不同。