数据挖掘week3

一.决策树

二.贝叶斯分类

贝叶斯分类算法是统计学的一种分类方法，它是一类利用概率统计知识进行分类的算法。在许多场合，朴素贝叶斯分类算法可以与决策树和神经网络分类算法相媲美，该算法能运用到大型数据库中，而且方法简单、分类准确率高、速度快。

1.贝叶斯公式的推导
（1）条件概率公式
设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概率为：

P(A|B)=P(AB)/P(B)

（2）乘法公式
由条件概率公式得：

P(AB)=P(A|B)P(B)=P(B|A)P(A)
上式即为乘法公式；

乘法公式的推广：对于任何正整数n≥2，当P(A1A2…An-1) > 0 时，有：
P(A1A2…An-1An)=P(A1)P(A2|A1)P(A3|A1A2)…P(An|A1A2…An-1)

（3）全概率公式
如果事件组B1，B2，… 满足：
1.B1，B2…两两互斥，即 Bi ∩ Bj = ∅ ，i≠j ， i,j=1，2，…，且P(Bi)>0,i=1,2,…;
2.B1∪B2∪…=Ω ，则称事件组 B1,B2,…是样本空间Ω的一个划分

      设 B1,B2,...是样本空间Ω的一个划分，A为任一事件，则：

       上式即为全概率公式

全概率公式的意义在于，当直接计算P(A)较为困难,而P(Bi),P(A|Bi) (i=1,2,…)的计算较为简单时，可以利用全概率公式计算P(A)。思想就是，将事件A分解成几个小事件，通过求小事件的概率，然后相加从而求得事件A的概率，而将事件A进行分割的时候，不是直接对A进行分割，而是先找到样本空间Ω的一个个划分B1,B2,…Bn,这样事件A就被事件AB1,AB2,…ABn分解成了n部分，即A=AB1+AB2+…+ABn, 每一Bi发生都可能导致