机器学习-朴素贝叶斯

1.基于概率论的分类算法：朴素贝叶斯概述：

 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。
       和决策树模型相比，朴素贝叶斯分类器(Naive Bayes Classifier,或 NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。
       理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。

2.朴素贝叶斯 的优缺点：

优点：在数据比较少的情况下仍然有效，可以处理多类别问题。

缺点，对于输入数据的准备方式较为敏感。

适用数据类型：标称型数据。

3.朴素贝叶斯 算法步骤：
           1）收集数据：可以使用任何方法；
           2）准备数据：需要数值型或布尔型数据。如果是文本文件，要解析成词条向量bai；
           3）分析数据：有大量特征时，用直方图分析效果更好；
           4）训练算法：计算不同的独立特征的条件概率；
           5）测试算法：计算错误率；
           6）使用算法：一个常见的朴素贝叶斯应用是文档分类。

4.贝叶斯定理

  条件概率就是事件 A 在另外一个事件 B 已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在 B 发生的条件下 A 发生的概率”。

       联合概率表示两个事件共同发生（数学概念上的交集）的概率。A 与 B 的联合概率表示为。

       推导：

       我们可以从条件概率的定义推导出贝叶斯定理。
       根据条件概率的定义，在事件 B 发生的条件下事件 A 发生的概率为：

       同样地，在事件 A 发生的条件下事件 B 发生的概率为：

       结合这两个方程式，我们可以得到：

       这个引理有时称作概率乘法规则。上式两边同除以 P(A)，若P(A)是非零的，我们可以得到贝叶斯定理:

5.朴素贝叶斯分类器

首先要清楚朴素贝叶斯分类器是基于“属性条件独立性假设”，即所有属性相互独立，换句话说就是，假设每个属性独立的对分类结果产生影响。

显然，朴素贝叶斯分类器的训练过程就是基于训练集D来估计类先验概率 P(C）,并为每个属性估计条件概率P(xi | c）。说到底，朴素贝叶斯分类器就是由先验概率和条件概率组成。

1、 先验概率

其中D表示的是总共有多少个样本，Dc表示的是整体样本中c类样本的数量；

2、条件概率

在该式中，Dc所代表的意思与先验概率相同，即整体样本中c类样本的数量；Dc,xi 表示的是在c类样本的数量中第i个属性取值为xi的样本数量，就比如说：（红）苹果中（脆）苹果的数量。

其中，µc,i 表示的是第c类样本在第i个属性上取值的均值；σc,i 表示的是第c类样本在第i个属性上取值的方差。 

3. 极大似然估计
另D_{i}表示训练集D中第i类样本组成的集合，假设这些样本是独立分布同分布的，则参数 θcθc对于数据集D_{i}的似然是：
P(Di|θc)=∏x∈DiP(x|θc)
P(Di|θc)=∏x∈DiP(x|θc)

对 θcθc进行极大似然估计，就是寻找能最大化似然 P(Di|θc)P(Di|θc)的参数值 θc^θc^，连乘操作容易造成下溢，因此一般取对数。
3. 朴素贝叶斯
其基本假设是条件独立性，即
P(A=a|B=Bi)=P(A1=a1,…An=an|B=Bi)=∏nj=1P(Aj=aj|B=Bi)P(A=a|B=Bi)=P(A1=a1,…An=an|B=Bi)=∏j=1nP(Aj=aj|B=Bi)
4. 拉普拉斯平滑
防止分子相乘项出现0导致整体为0，常采用拉普拉斯平滑进行修正，修正后的公式如下：
P(Bi)^=Bi+1B+N
P(Bi)^=Bi+1B+N

其中N表示训练集B中可能的类别数
P(Ai|B)^=Bi,Ai+1Bi+Ni
P(Ai|B)^=Bi,Ai+1Bi+Ni

其中Ni表示第i个属性可能出现的取值数
 

6.实现垃圾邮件过滤

（1）收集数据：提供文本文件。

（2）准备数据：将文本文件解析成词条向量。

（3）分析数据：检查词条确保解析的正确性。

（4&#