文档词袋模型

词袋模型记录了单词在词汇表中出现的次数。

def loadDataSet(): #创建文档集合以及标签
    postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                   ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                   ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                   ['stop', 'posting', 'stupid', 'wprthless', 'garbage'],
                   ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                   ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] #进行词条切分后的文档集合
    classVec = [0, 1, 0, 1, 0, 1] #1表示侮辱性文字，0表示正常言论
    return postingList, classVec

def createVocabList(dataSet): #创建词汇表
    vocabSet = set([]) #创建一个空子集
    for document in dataSet:
        vocabSet = vocabSet | set(document)  #set子集并运算，创建一个不重复词列表
    return list(vocabSet)

#词袋模型
def bagOfWords2VecMN(vocabList, inputSet): #vocabList词汇表，inputSet输入文档
    returnVec = [0]*len(vocabList) #创建一个与vocabList等长的0向量
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] += 1 #相应的位置置1,计算出现的次数
    return returnVec