贝叶斯分类实例

(1) 朴素贝叶斯算法

　　设每个数据样本用一个n维特征向量来描述n个属性的值，即：X={x1，x2，…，xn}，假定有m个类，分别用C1, C2,…，Cm表示。给定一个未知的数据样本X（即没有类标号），若朴素贝叶斯分类法将未知的样本X分配给类Ci，则一定是

　　P(Ci|X)>P(Cj|X) 1≤j≤m，j≠i

　　根据贝叶斯定理

　　由于P(X)对于所有类为常数，最大化后验概率P(Ci|X)可转化为最大化先验概率P(X|Ci)P(Ci)。如果训练数据集有许多属性和元组，计算P(X|Ci)的开销可能非常大，为此，通常假设各属性的取值互相独立，这样

　　先验概率P(x1|Ci)，P(x2|Ci)，…，P(xn|Ci)可以从训练数据集求得。

　　根据此方法，对一个未知类别的样本X，可以先分别计算出X属于每一个类别Ci的概率P(X|Ci)P(Ci)，然后选择其中概率最大的类别作为其类别。

　　朴素贝叶斯算法成立的前提是各属性之间互相独立。当数据集满足这种独立性假设时,分类的准确度较高，否则可能较低。另外，该算法没有分类规则输出。

　　(2) TAN算法

　　TAN算法通过发现属性对之间的依赖关系来降低NB中任意属性之间独立的假设。它是在NB网络结构的基础上增加属性对之间的关联(边)来实现的。

　　实现方法是：用结点表示属性，用有向边表示属性之间的依赖关系，把类别属性作为根结点，其余所有属性都作为它的子节点。通常，用虚线代表NB所需的边，用实线代表新增的边。属性Ai与Aj之间的边意味着属性Ai对类别变量C的影响还取决于属性Aj的取值。

　　这些增加的边需满足下列条件：类别变量没有双亲结点，每个属性有一个类别变量双亲结点和最多另外一个属性作为其双亲结点。

　　找到这组关联边之后，就可以计算一组随机变量的联合概率分布如下：

　　其中ΠAi代表的是Ai的双亲结点。由于在TAN算法中考虑了n个属性中(n-1)个两两属性之间的关联性，该算法对属性之间独立性的假设有了一定程度的降低，但是属性之间可能存

　　在更多其它的关联性仍没有考虑，因此其适用范围仍然受到限制。

贝叶斯分类 实例

First Step

Find Classes:

      C1: buys_computer = ‘yes’

      C2: buys_computer = ‘no’

 

Second Step

      Find P(C1) and P(C2)

                      P( buys_computer = “yes”)  = 9/14 = 0.643

                      P( buys_computer = “no”) = 5/14= 0.357

 

Third Step

  Compute P (X|C) for each class :

     P (age = “Youth” / buys_computer = “yes”)  = 2/9 = 0.222

     P (age = “Youth” /  buys_computer = “no”) = 3/5 = 0.6

     P (income = “medium” /  buys_computer = “yes”) = 4/9 = 0.444

     P (income = “medium” /  buys_computer = “no”) = 2/5 = 0.4

     P (student = “yes” /  buys_computer = “yes) = 6/9 = 0.667

     P (student = “yes” /  buys_computer = “no”) = 1/5 = 0.2

     P (credit_rating = “fair” /  buys_computer = “yes”) = 6/9 = 0.667

     P (credit_rating = “fair” / buys_computer = “no”) = 2/5 = 0.4

 

Fourth Step .

    Find P(X|Ci) :

 For C1:    Multiply all the probabilities that belong to class “yes”

           P(X|buys_computer = “yes”) = 0.222 x 0.444 x 0.667 x 0.667=.044

Similarly     for “class = no”

          P(X|buys_computer = “no”) = 0.6 x 0.4 x 0.2 x 0.4 = 0.019

 

Finally ,

     find ……  P(X|Ci)*P(Ci) …….  for each class

P(X|buys_computer = “yes”) * P(buys_computer = “yes”) = 0.028

P(X|buys_computer = “no”) * P(buys_computer = “no”) = 0.007

 

参考：

http://www.cnblogs.com/phinecos/archive/2008/10/21/1315948.html

http://summerbell.iteye.com/blog/392459

http://blog.youkuaiyun.com/DL88250/archive/2008/02/20/2108164.aspx

http://www.cnblogs.com/waemz/archive/2009/02/25/1397647.html