先验概率、后验概率和似然函数的区别和联系

1、先验概率

先验概率，既是知因寻果，根据以往经验和分析得到的概率。可以将其看作“统计概率”。假设早晨你开车去上班，风和日丽，根据你平时上班的经历，路上堵车的概率很小。这个就是先验概率。

2、条件概率

比如在你临出门之前，新闻突然播报在你必经的那个十字路口发生了车祸，根据这一新得到的信息，你推测路上堵车的概率很大，你需要赶紧出发or更换路线，这就是条件概率。即基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率。

3. 后验概率

后验概率，既是知果寻因，是指依据得到"结果"信息计算出的最有可能是那种事件发生。可以将其看作“条件概率”。假设可能引起我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故。某一天，我们想往常一样出了门，然后遇到了堵车，那么我们想算一下堵车时由 交通事故 引起的概率有多大，那这个就叫做后验概率 （也是条件概率，但是通常习惯这么说）。也就是P(交通事故|堵车)。这是有果求因。

4. 联系与区别

从原因到结果的论证称为“先验的”，而从结果到原因的论证称为“后验的”。先验概率就是通常说的概率，后验概率是一种条件概率，但条件概率不一定是后验概率。后验概率可以根据通过贝叶斯公式，用先验概率和似然函数计算出来。
后验概率： $p(\theta |X)$
先验概率： $p(\theta )$
似然函数： $p(X|\theta )$
贝叶斯公式： $p(\theta |X)=\frac{p(X|\theta )p(\theta )}{p(X)}$

由于$p(\theta |X)$是与$\theta$无关的常量，因此有$p(\theta |X)$正比于$p(X|\theta )p(\theta )$ 。所以后验概率正比于先验与似然的乘积。似然函数$p(X|\theta )$是参数 $\theta$的似然。

或者换一种说法，上面的贝叶斯公式对应于 $posterior=\frac{likehood\ast prior}{evidence}$

• posterior：通过样本x得到参数$\theta$的概率，也就是后验概率；
• linkhood：通过参数$\theta$得到样本X 的概率，似然函数，通常就是我们的数据集的表现；
• piror：参数$\theta$的先验概率，一般是根据人的先验知识来得出的。比如人们倾向于认为破硬币实验会符合先验分布：beta分布。当我们选择beta分布的参数
  $$\alpha =\beta =0.5$$
  时，代表人们认为抛硬币得到正反面的概率都是0.5.
• evidence: $$p(X)=\int p(X|\theta )p(\theta )d\theta$$
  上式代表样本X发生的概率，是各种$\theta$条件下发生的概率的积分（如果是离散就是求和）。

参考文献

[1] 先验概率、后验概率、似然估计，似然函数、贝叶斯公式
[2] 极大似然估计、最大后验估计和贝叶斯估计