朴素贝叶斯算法

   朴素贝叶斯算法是一组简单概率分类算法的总称,这些算法的理论基础都是贝叶斯定理。朴素贝叶斯算法于20世纪50年代被提出,随后在60年代被应用到文本检索领域,直到现在为止仍然是文本分类的一个重要方法,它在该领域的性能甚至要比更为先进的一些机器学习算法要好。朴素贝叶斯算法具有很好的扩展性,其在训练阶段不用进行迭代,是相较于其他主流机器学习算法训练阶段时间复杂度较低的一种算法。

    朴素贝叶斯算法的基本原理是对于给出的待分类矢量,求出当一个特征矢量的取值等于给出的待分类矢量时,这个特征矢量属于各个类别的概率,然后取概率最高的类别作为分类结果,其定义如下:

    设X = (a1a2...,am为一个待分类项的特征矢量,其中的每个分量都是一个特征属性且各个特征属性之间相互独立,设类别集合C = {y1,y2,...,yn},设)l表示每个特征属性取值待分类项的相应特征属性值时一个项属于类别y,概率,这个概率称为似然概率,则当P(ykIX) = max{P(y,丨x),户0;2丨x),...,PO?丨x)}时,则x属于yk。

由于特征矢量的各个分量都是相互独立的,所以利用贝叶斯定理可以做如下推倒:

<