朴素贝叶斯分类

综述

贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类，如朴素贝叶斯分类、贝叶斯网络分类算法等。其中朴素贝叶斯算法是有监督的学习算法，解决的是分类问题，是最简单的一种贝叶斯分类算法。但由于该算法以自变量之间的独立（条件特征独立）性和连续变量的正态性假设为前提，就会导致算法精度在某种程度上受影响。朴素贝叶斯分类器采用了一些简化条件的假设，比如假设 x 的各特征是条件独立的，假设样本特征数据符合多项式分布、伯努利分布、高斯分布等，这些假设都可能不完全符合实际情况。
条件概率

就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示。

贝叶斯公式

我们把P(A)称为"先验概率"（Prior probability），即在B事件发生之前，我们对A事件概率的一个判断。

P(A|B)称为"后验概率"（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。

P(B|A)/P(B)称为"可能性函数"（Likelyhood），这是一个调整因子，使得预估概率更接近真实概率。

所以，条件概率可以理解成：后验概率　＝　先验概率 ｘ 调整因子

 

带你搞懂朴素贝叶斯分类算法https://blog.youkuaiyun.com/amds123/article/details/70173402?tdsourcetag=s_pcqq_aiomsg【形象讲解】

朴素贝叶斯分类的正式定义如下：

      1、设为一个待分类项，而每个a为x的一个特征属性。

      2、有类别集合。

      3、计算。

      4、如果，则 。

那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做：

      1、找到一个已知分类的待分类项集合，这个集合叫做训练样本集。

      2、统计得到在各类别下各个特征属性的条件概率估计。即。

      3、如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导：

              

      因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有：

              

 

这里要引入朴素贝叶斯假设了。如果认为每个词都是独立的特征，那么朋友圈内容向量可以展开为分词(x1,x2,x3...xn)，因此有了下面的公式推导：

　　P(ad|X) = p(X|ad)p(ad) = p(x1, x2, x3, x4...xn | ad) p(ad)

假设所有词相互条件独立，则进一步拆分：

　　P(ad|X) = p(x1|ad)p(x2|ad)p(x3|ad)...p(xn|ad) p(ad)

虽然现实中，一条朋友圈内容中，相互之间的词不会是相对独立的，因为我们的自然语言是讲究上下文的╮(╯▽╰)╭，不过这也是朴素贝叶斯的朴素所在，简单的看待问题。

看公式p(ad|X)=p(x1|ad)p(x2|ad)p(x3|ad)...p(xn|ad) p(ad)

至此，P(xi|ad)很容易求解，P(ad)为词库中广告朋友圈占所有朋友圈（训练集）的概率。我们的问题也就迎刃而解了。

【朴素贝叶斯算法 & 应用实例 】https://www.cnblogs.com/marc01in/p/4775440.html

对的计算需要事先假设样本特征x的数据分布情况。对特征分布的假设，我们称之为事件模型，通常会采用以下三种假设。

1、多项式分布
如果特征是离散值，可以假设它符合多项式分布。可以统计x的某个特征在样本中的频率来估算其概率。

上图来自【朴素贝叶斯分类——大道至简】https://blog.youkuaiyun.com/x_iunknown/article/details/82898503?tdsourcetag=s_pcqq_aiomsg

当特征属性为离散值时，只要很方便的统计训练样本中各个划分在每个类别中出现的频率即可用来估计P(a|y)，下面重点讨论特征属性是连续值的情况。

当特征属性为连续值时，通常假定其值服从高斯分布（也称正态分布）。即：

因此只要计算出训练样本中各个类别中此特征项划分的各均值和标准差，代入上述公式即可得到需要的估计值。均值与标准差的计算在此不再赘述。

另一个需要讨论的问题就是当P(a|y)=0怎么办，当某个类别下某个特征项划分没有出现时，就是产生这种现象，这会令分类器质量大大降低。为了解决这个问题，我们引入Laplace校准，它的思想非常简单，就是对没类别下所有划分的计数加1，这样如果训练样本集数量充分大时，并不会对结果产生影响，并且解决了上述频率为0的尴尬局面。

【朴素贝叶斯分类算法理解及文本分类器实现】https://blog.youkuaiyun.com/levy_cui/article/details/68946151