条件概率公式， 贝叶斯公式

条件概率公式：

                            

全概率公式：

                           

贝叶斯公式：

                         

给定某系统的若干样本X，计算该系统的参数，即

                                 

P(θ) 没有数据支持下，θ发生的概率：先验概率

P(θ|x) 在数据X的支持下，θ发生的概率：后验概率，贝叶斯公式也称为后验公式

p(x|θ) 给定某参数θ的概率分布：似然函数

理解：

1) 教科书上的解释总是太绕了，有一个很好例子：在没有给任何信息的前提下，让猜某人的姓氏。为了猜对概率大一些，你可能会先百度一下中国人口的姓氏排名，发现李姓是中国第一大姓，约占全国汉族人口的7.94%，所以你可能会猜李。也就是李姓出现在的概率最大。

此时李姓的概率即为 先验概率

2) 接着有人给提供了一些跟这个人相关信息，比如：知道他是来自”赵家村“，那这个时候你就知道，他姓赵的概率比较大，就会猜姓赵。

此时P(姓赵|赵家村)这个条件概率，即为 后验概率

3) 似然函数：

由贝叶斯公式带来的思考：

给定某些样本A，在这些样本中计算结论B1,B2....Bi出现的概率，即P(Bi|A)，拿概率最大的那个结论B做为样本A最终的结论，也就是说我要求max P(Bi|A)，由贝叶斯公式：

max P(Bi|A) = max P(A|Bi)P(Bi)/P(A)  

其中 P(A) 即 

又因为样本A给定，对于B1,B2....Bi来说P(A)是相同的，可以把分母去掉：

max P(Bi|A) => max P(A|Bi)P(Bi)

若这些结论B1,B2....Bi的先验概率相等（或者近似），则可以得到：

max P(Bi|A) => max P(A|Bi)P(Bi)=> max P(A|Bi)

最后得到结论，我们求maxP(Bi|A)，实际跟求max P(A|Bi)是等价的 而P(A|Bi)就是似然函数