朴素贝叶斯

这一节让我们来学习一下利用贝叶斯进行分类处理。在学习贝叶斯算法之前我们需要了解一些条件概率的的概念。什么是条件概率呢？条件概率就是在已知条件下另一个事件发生的概率，这就是贝叶斯算法的核心思想，接下来我们就利用分类文章的例子来讲解贝叶斯算法：

首先创建一个名为bayes.py的文件，添加如下代码：

from numpy import *

def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1]   
    return postingList,classVec
                 
def createVocabList(dataSet):
    vocabSet = set([])  
    for document in dataSet:
        vocabSet = vocabSet | set(document) 
    return list(vocabSet)

def setOfWords2Vec(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if wordu in vocabList:
            returnVec[vocabList.index(word)] = 1
        else: print "the word: %s is not in my Vocabulary!" % word
    return returnVec

第一个函数不用多说初始化一个训练数据，classVec是标签列表，0代表正常言论，1代表侮辱性文字。createVocabList()函数用来创建一个不包含重复词的列表。最后一个函数有两个输入参数，第一个是上一个函数输出的词汇表，第二个参数是输入的某个文档。首先创建一个和词汇表等长的全是零的向量，然后遍历整个文档，若词汇表中有文档中出现的单词，就将全是零的向量的对应位置设置为1，否则设置为0，这样就将文章转换成了词向量。接下来就开始训练算法：

def trainNB0(trainMatrix,trainCategory):
    numTrainDocs = len(trainMatrix)
    numWords = len(trainMatrix[0])
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    p0Num = ones(numWords); p1Num = ones(numWords)     
    p0Denom = 2.0; p1Denom = 2.0                      
    for i in range(numTrainDocs):
        if trainCategory[i] == 1:
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    p1Vect = log(p1Num/p1Denom)          
    p0Vect = log(p0Num/p0Denom)         
    return p0Vect,p1Vect,pAbusive

上面的函数进行的是分类器的训练过程，输入有两个参数，第一个是文档矩阵，第二个是标签向量。首先计算出文档矩阵中包含多少条文档，然后计算出词向量的长度，第三行计算出侮辱性文字的概率，接下来就是初始化分子和分母，这里给出的是二分类问题。如果是多分类问题可以对代码进行修改。接下来的循环是这个函数的关键所在，遍历所有文档，当发现文章属于某一类时就将其向量进行相加，总的单词数也相应的增加。最后计算各个类别中单词出现的概率，接下来就可以对算法进行测试了：

def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
    p1 = sum(vec2Classify * p1Vec) + log(pClass1)    
    p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
    if p1 > p0:
        return 1
    else: 
        return 0

def testingNB():
    listOPosts,listClasses = loadDataSet()
    myVocabList = createVocabList(listOPosts)
    trainMat=[]
    for postinDoc in listOPosts:
        trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
    p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))
    testEntry = ['love', 'my', 'dalmation']
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)
    testEntry = ['stupid', 'garbage']
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)

这里的第一个函数有四个输入参数：要分类的向量、使用trainNB0()计算得到的三个结果。接着就是用要分类的向量与各个类别概率向量乘积的和再加上对应类别的概率，最后返回最高的概率所对应的类别即可。第二个函数就没有必要再进行解释了！

最后我们再介绍一个词袋模型，与词集不同的是单词出现的个数可以是多次。

def bagOfWords2VecMN(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] += 1
    return returnVec

这里与setOfWord2Vec()相差无几，就是将单词个数加1，而不是设置为1.

下节我们将会给大家展示一个实例；