机器学习---朴素贝叶斯

一、贝叶斯定理

条件概率是指事件A在另外一个事件B已经发生条件下的发生概率，其基本求解公式为： P(A|B) = P(AB) / P(B)

贝叶斯公式：

其中：

        P(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。

        P(B)是B的先验概率或边缘概率。

        P(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。

        P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。

        在实际应用中，P(A),P(B),P(A|B)都可以提前获得。

        贝叶斯公式实际提供了一种已知事件A确实发生了，估计它是由“原因”B所导致概率的方法 

二、简介

        假设使用贝叶斯算法对文本进行分类，首先需要建立一个含有所有词汇的词汇表。假定词汇表中有1000个单词，要得到好的概率分布，就需要足够的数据样本，假定样本数为N。那么对于包含1000个特征的词汇表，将需要N1000个样本。可见，所需要的样本数会随着特征数目增大而迅速增长

        如果特征之间相互独立，那么样本数就可以从N1000减少到1000×N。所谓独立，指的是统计意义上的独立，即一个特征或单词出现的可能性与它和其他单词相邻没有关系。

        例如，假设单词bacon出现在unhealthy后面与出现在delicious后面的概率相同。

        这个假设就是朴素贝叶斯算法中，朴素一词的含义。

三、基本原理

常见三种实现模型

多项式模型；

高斯模型；

伯努利模型