机器学习算法之——贝叶斯算法

一、贝叶斯定理
贝叶斯定理是关于随机事件A和事件B的条件概率(或边缘概率)的一则定理。其中p(A|B)是在B发生的情况下A发生的可能性。
贝叶斯定理也称为贝叶斯推理。
事件A在事件B(发生)的条件下的概率，与事件B在事件A的条件下的概率是不一样的。这句话我们可以理解为：比如说你喜欢一个妹子，这是事件A，妹子喜欢你的概率是B，记为P(B|A)；那么P(A|B)是妹子喜欢你，你喜欢妹子的概率。这两个是不是不一样啊，因为大家保持单身的唯一理由就是：我喜欢的不喜欢我，喜欢我的，我不喜欢。。。。后来伟大的爱情学家托马斯·贝叶斯给了我们一个关系式：

妹子喜欢你的情况下，你喜欢妹子的概率=你喜欢妹子的情况下，妹子喜欢你的概率*喜欢妹子的概率 | 妹子喜欢你的概率。这就是传说中的爱情公式。

二、贝叶斯方法的概述
朴素贝叶斯是基于贝叶斯定理，与特征条件假设的分类算法。给你数据集，然后我们假设各个事件发生都是独立的，算法会学习这个数据集输入/输出之间联合概率分布，我们就用这个模型，给定一个X，输出最大的可能性。起到预测的作用。

三、算法公式变换

**在贝叶斯定理中，每个名词都有约定俗成的名称：**
P(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。
P(A|B)是已知B发生后A的条件概率(在B发生的情况下A发生的可能性)，也由于得自B的取值而被称作A的后验概率。
P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。
P(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）.

朴素贝叶斯通过训练数据集学习联合概率分布P(X,Y)。
先验概率和条件概率分布分别为：
P(Y=Ck),k=1,2,……k
条件概率（又称为后验概率）就是在事件A在另外一件事B发生的条件下发生的概率。条件改啦表示为P(A|B)，读作“在B条件下A的概率”，其分布为:
![这里写图片描述](https://img-blog.youkuaiyun.com/20160522094322015?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
 然后学习到联合概率分布P(X,Y)
 要计算联合概率分布，就要对条件概率分布进行条件独立性假设，条件概率性假设是：
 ![这里写图片描述](http://images2015.cnblogs.com/blog/999009/201609/999009-20160913101123930-12521812.png)

朴素贝叶斯实际上学习到生成数据的机制，属于生成模型。朴素贝叶斯就是给你一个输入X，然后通过对之前数据的处理(学习)计算后验概率分布P(Y=Ck|X=x)，然后将MAX(P(Y=Ck|X=x)) 作为输入X的最大输出类。(X,MAX(P(Y=Ck|X=x)))。下面我们就证明公式：
根据贝叶斯定理的后验概率：

将上面的式子进行合并:

输出：

对于上式中分母对所有Ck都是相同的，所以：

四、朴素贝叶斯的参数估计
在朴素贝叶斯算法中，其实学习过程就是估计(Y=CK)和P(X(j)=x(j)|Y=CK),我们可以使用极大似然法估计响应的概率。
极大似然估计原理如下：
它是建立在极大似然估计原理的基础上的一个统计方法，极大似然原理的直观相反是：一个随机试验如有若干个可能的结果A，B，C……。若在仅仅作一次试验中，结果A出现，则一般认为试验条件对A的出现有利，也即出现的概率很大。一般的，事件A发生的概率与参数theta有关，A发生的概率记为P(A，theta)，则theta的估计应该使上述概率达到最大，这样的theta顾名思义称为极大似然估计。
先验概率P(Y=Ck)的极大似然估计是：
其中Xi(j)是第i个样本的第j个特征;aji是第j个特征可能取的第i个值，其中i为指示函数。下面给出指示函数的百度百科定义：

参考：https://www.cnblogs.com/xiaohuahua108/p/5867448.html
https://blog.youkuaiyun.com/pipisorry/article/details/51471222