先验概率、后验概率、全概率公式、贝叶斯公式，最大似然估计

一、先验概率

1、定义：

先验概率（prior probability）是指根据以往经验和分析得到的概率，如全概率公式，它往往作为"由因求果"问题中的"因"出现的概率。

2、解释：

事件还没有发生，根据以往的经验和数据推断出这哥事件会发生的概率。

3、分类：

（1）利用过去历史资料计算得到的先验概率，称为客观先验概率.
（2）当历史资料无从取得或资料不完全时，凭人们的主观经验来判断而得到的先验概率，称为主观先验概率。

4、举例：

以扔硬币为例，在扔之前就知道正面向上的概率为0.5，这个0.5就是先验概率。

5、条件：

先验概率是通过古典概率模型加以定义的，故又称为古典概率。

古典概率模型要求满足两个条件：
(1)试验的所有可能结果是有限的;
(2)每一种可能结果出现的可能性(概率)相等。

若所有可能结果的总数为N，随机事件A包括n个可能结果，那么随机事件A出现的概率为n/N。

二、后验概率

1、定义：

后验概率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的"果"。

2、理解：

事件已经发生，但是导致事件发生的原因可能有多种，此时推断是由哪一种原因导致的，计算事件的发生是由某个原因引起的概率。

3、举例：

假设两个工厂1和2，生产同一批产品，工厂1的次品率为0.01，生产这批产品的70%；工厂2的次品率为0.02，生产这批产品的30%。现在抽查某个产品不合格，那么这个不合格的产品来自工厂1的概率是多少？

三、全概率公式

1、定义：

如果事件$B_1$,$ B_2$, $B_3$, …, $B_i$构成一个完备事件组，即它们两两互不相容，其和为全集；并且$P(B_i)$大于0，则对任一事件$A$有

全概率公式：$P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+...+P(A|B_i)P(B_i)$。

2、解释：

全概率就是表示达到某个目的，有多种方式，最终达到目的的概率是多少。

四、贝叶斯公式

1、定义：

是指当分析样本大到接近总体数时，样本中事件发生的概率将接近于总体中事件发生的概率。

公式：

$P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)}$

2、思路：

在主观判断的基础上，先估计一个值(先验概率)，然后根据观察的新信息不断修正(可能性函数)。

3、解释：

$P(A)$：没有数据$B$的支持下，$A$发生的概率，也叫做先验概率。这完全是根据经验做出的判断，这也是前面说的贝叶斯公式的主观因素部分。

$P(A|B)$：在数据$B$的支持下，$A$发生的概率，也叫后验概率($A$的后验概率)。即在$B$事件发生之后，我们对$A$事件概率的重新评估。

$P(B|A)$：给定某参数$A$的概率分布，也叫似然函数($B$的后验概率)。这是一个调整因子，即新信息$B$带来的调整，作用是使得先验概率更接近真实概率。

$P(B)$：是$B$的先验概率或边缘概率，也作标准化常量。

也可写作：

$P\left(A_i\mid B\right)=\frac{P\left(B\mid A_i\right)P\left(A_i\right)}{{\sum }_{j}P\left(B\mid A_j\right)P\left(A_j\right)}$

表示：当已知结果$B$，问导致这个结果的第$A_i$个原因的可能性是多少。

五、最大似然估计

这里可以简单理解一下，但不是很恰当：

在上述的贝叶斯公式中，$P\left(A_1\mid B\right)$, $P\left(A_2\mid B\right)$, …, $P\left(A_n\mid B\right)$，经过计算发现，造成结果B的最大可能原因是$A_i$，那么$P\left(A_i\mid B\right)$就叫做最大似然估计。