朴素贝叶斯

最新推荐文章于 2022-01-03 20:15:00 发布

原创最新推荐文章于 2022-01-03 20:15:00 发布 · 367 阅读

0 ·

CC 4.0 BY-SA版权

机器学习专栏收录该内容

72 篇文章

订阅专栏

本文介绍朴素贝叶斯算法在文本分类中的应用，包括算法的优点、缺点及核心思想，并通过Python实现了一个简单的文本分类器。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

朴素贝叶斯

优点：在数据较少的情况下仍然有效，可以处理多类别问题；

缺点：对于输入数据的准备方式较为敏感；

使用数据类型：标称型数据。

朴素贝叶斯核心思想是选择具有最高概率的决策。

# -*- coding:utf-8 -*-
#使用Python进行文本分类
"""
从文本中构建词向量，将句子转换为向量
"""
from numpy import *
def loadDataSet():
    """
    创建一些样本，返回的第一个变量是进行词条切分后的文档集合；第二个变量是一个类别标签的集合
    :return:
    """
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]

    classVec = [0,1,0,1,0,1] #1表示侮辱性文字，0表示正常言论
    return postingList,classVec

def createVocabList(dataSet):
    """
    创建一个包含所有文档中出现的不重复词的列表
    :param dataSet:
    :return:
    """
    vocabSet = set([])  #创建一个空集
    for document in dataSet:
        vocabSet = vocabSet|set(document)  #创建两个集合的并集
    return list(vocabSet)

def setOfWords2Vec(vocabList,inputSet):
    """

    :param vocabList:
    :param inputSet: 某个文档
    :return:
    """
    returnVec = [0]*len(vocabList)   #创建一个其中所有元素都为0的向量
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)]=1
        else:
            print  "the word :%s is not in my vocabulary" % word
    return returnVec

listOPosts,listClasses = loadDataSet()
my = createVocabList(listOPosts)
# print my

print setOfWords2Vec(my,listOPosts[3])

#训练方法，从词向量计算概率
"""
p(ci|w)=p(w|ci)*p(ci)/p(w)
对每个类进行计算概率，比较这两个概率值的大小

"""

def trainNB0(trainMatrix,trainCategory):
    numTrainDocs = len(trainMatrix)
    numWords = len(trainMatrix[0])
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    p0Num = zeros(numWords);p1Num = zeros(numWords)
    p0Denom = 0.0;p1Denom = 0.0
    for i in range(numTrainDocs):
        p1Num+=trainMatrix[i]#向量相加
        p1Denom+=sum(trainMatrix[i])
    else:
        p0Num += trainMatrix[i]
        p0Denom +=sum(trainMatrix[i])
    p1Vect = p1Num/p1Denom
    p0Vect = p0Num/p0Denom
    return p0Vect,p1Vect,pAbusive
trainMat=[]
for post in listOPosts:
    trainMat.append(setOfWords2Vec(my,post))
p0,p1,pa = trainNB0(trainMat,listClasses)
print pa

先写这么多，慢慢补