朴素贝叶斯算法

贝叶斯定理由 英国数学家贝叶斯 ( Thomas Bayes 1702-1763 ) 发展，用来描述两个条件 概率之间的关系，比如 P(A|B) 和 P(B|A)。按照 乘法法则： P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B)，可以立刻导出

贝叶斯定理公式： P(A|B)=P(B|A)*P(A)/P(B)

如上公式也可 变形为： P(B|A)=P(A|B)*P(B)/P(A)

  贝叶斯公式

例如：一座别墅在过去的 20 年里一共发生过 2 次被盗，别墅的主人有一条狗，狗平均每周晚上叫 3 次，在盗贼入侵时狗叫的概率被估计为 0.9，问题是：在狗叫的时候发生入侵的概率是多少？

我们假设 A  事件为狗在晚上叫，B 为盗贼入侵，则 P(A) = 3 / 7，P(B)=2/(20·365)=2/7300，P(A | B) = 0.9，按照公式很容易得出结果：P(B|A)=0.9*(2/7300)/(3/7)=0.00058

朴素贝叶斯算法

朴素贝叶斯模型推演：

----

Vmap=arg max P( Vj | a1,a2...an)

Vj属于V集合

其中Vmap是给定一个example,得到的最可能的目标值.

其中a1...an是这个example里面的属性.

这里面,Vmap目标值,就是后面计算得出的概率最大的一个.所以用max 来表示

----

贝叶斯公式应用到 P( Vj | a1,a2...an)中.

可得到 Vmap= arg max P(a1,a2...an | Vj ) P( Vj ) / P (a1,a2...an)

又因为朴素贝叶斯分类器默认a1...an他们互相独立的.

所以P(a1,a2...an)对于结果没有用处. [因为所有的概率都要除同一个东西之后再比较大小,最后结果也似乎影响不大]

可得到Vmap= arg max P(a1,a2...an | Vj ) P( Vj )

然后

"朴素贝叶斯分类器基于一个简单的假定：给定目标值时属性之间相互条件独立。换言之。该假定说明给定实力的目标值情况下。观察到联合的a1,a2...an的概率正好是对每个单独属性的概率乘积： P(a1,a2...an | Vj ) = Πi P( ai| Vj )

....

朴素贝叶斯分类器：Vnb =arg max P( Vj ) Π i P ( ai | Vj )