机器学习实战第四章朴素贝叶斯

本文链接：https://blog.youkuaiyun.com/weixin_44024159/article/details/96329716

本文深入探讨了朴素贝叶斯分类方法，包括贝叶斯决策理论、条件概率及其在分类中的应用。介绍了如何使用Python进行文本分类，如垃圾邮件过滤和文档主题分类，强调了朴素贝叶斯的独立性和同等重要性假设，以及解决概率计算问题的技巧。文章还提到了实际应用中朴素贝叶斯分类器的有效性，尽管其假设在某些情况下可能不成立。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

4.1 基于贝叶斯决策理论的分类方法

朴素贝叶斯大致思想：分类器有时会产生错误结果，此时可以要求分类器给出一个最优的类别猜想结果，同时给出这个猜测的概率估计值。

算法优缺点

优点：数据较少时依然有效

缺点：对于输入数据的准备方式较敏感

使用数据类型：标称型数据和数值型数据

标称型：一般在有限的数据中取，而且只存在‘是’和‘否’两种不同的结果（一般用于分类）

数值型：可以在无限的数据中取，而且数值比较具体化，例如4.02,6.23这种值（一般用于回归分析）

贝叶斯理论理解

若有两类数据，由两个特征来判断类别x、y，数据被分为这两类数据的概率分别表示为：p1(x,y)和p2(x,y)，因此对于一个新的数据点，特征值为x‘和y’,按照贝叶斯理论，分类规则为：

p1(x’,y’) > p2(x’,y’)，因此分到第一类的概率大，则分到第一类。

p1(x’,y’) < p2(x’,y’)，因此分到第二类的概率大，则分到第二类。

即选择高概率的类别进行分类。

若计算概率效率很高，特征数较多时，使用KNN进行分类，则计算效率太低；使用决策树，则效果可能不太好，然而贝叶斯是不错的选择。

4.2 条件概率

条件概率

举例：共有七块石头，三块为灰色，四块为黑色。

取得灰色石头的概率为：3/7

取得黑色石头的概率为：4/7

若把这七块石头分别让如两个桶，假设：现在A桶中有4块石头，2灰色2黑色，B桶中有3块石头，1灰色2黑色。

此时需要事先知道石头所在的桶的信息是否会改变概率计算的结果呢？

这就需要计算条件概率，P(A|B）即A在B的条件下发生的概率。

我们直接计算B桶中取到灰色石头的概率：B桶中一共有3块石头，1块为灰色，即1/3。

我们根据条件概率的公式：

P(gray|BucketB)即表示在B桶中，取出灰色石头的概率，即石头在B桶的条件下，从B桶中取出灰色石头的概率。

P(gray|BucketB) = P(gray and BucketB)/P(BucketB)即等于从B桶取出灰色石头的概率/从B桶中取出石头的概率。

P(gray|BucketB) = 1/7(7块石头只有1块灰色的在B桶)/ 3/7(7块石头有3块在B桶中) = 1/3

贝叶斯准则公式：

P(c|x) = (P(x|c) * P©) / P(x)

4.3 使用条件概率来分类

4.4 使用朴素贝叶斯进行分档分类

背景介绍：朴素贝叶斯经常用来进行分档分类。例如分类垃圾邮件，按照邮件中的单词，是否为侮辱性的，并把每个词是否出现或者不出现作为特征，得到的特征数目就会跟词汇表中的词目一样多。

朴素贝叶斯的过程

1-收集数据

2-准备数据：数值型或布尔型。

3-分析数据：有大量特征时，绘制特征的作用不大，此时使用直方图效果更好。

4-训练算法：计算不同的独立特征的条件概率。

5-测试算法：计算错误率

6-使用算法：通常使用朴素贝叶斯进行文档分类，也可以在任意的分类场景中使用朴素贝叶斯分类器，不一定非要是文本。

朴素贝叶斯的2个假设

第一个假设：特征之间相互独立

要得到更好地概率分布，需要足够的数据样本。

若每个特征需要N个样本，列表中有1000个单词，则共需要N的1000次方个样本。

若特征之间相互独立，统计意义上的独立，即一个特征或者单词出现的可能性与它和其他相邻单词没有关系，则可以说是独立。但通常来说，这种独立假设在实际应用中是不对的，因此称为”朴素“贝叶斯

第二个假设：所有特征同等重要

这个假设也有问题，例如：判断是否为垃圾邮件，只需要看一部分词是否为侮辱性的即可，而不需要看所有词，因此不是所有特征都是同等重要。

尽管上述两个假设都有问题，但是朴素贝叶斯在实际应用中效果是不错的。

4.5 使用python进行文本分类

背景介绍：把文档进行拆分，拆分成词条(token)，可以理解为单词，字符，等等。每个文本片段表示为一个词条向量，其中值为1表示该词条出现在文档中，0表示未出现。

4.5.1 准备数据：从文本中构建词向量

loadDataSet()返回包含单词的列表和一个向量，向量为类别标签集合，0代表非侮辱性文字，1代表侮辱性文字，列表中文本由人工标注，用于训练程序一遍自动检测侮辱性语言。

def loadDataSet():
    postingList = [['my','dog','has','flea','problems','help','please'],
                  ['maybe','not','take','him','to','dog','park','stupid'],
                  ['my','dalmation','is','so','cute','I','love','him'],
                  ['stop','posting','stupid','worthless','garbage'],
                   ['mr','licks','ate','my','steak','how','to','stop','him'],
                  ['quit','buying','worthless','dog','food','stupid']]
    classVec = [0,1,0,1,0,1]
    return postingList, classVec

createVocabList(dataSet) dataSet为所有文档，该函数返回文档中所有的词条，且不含重复项。

def createVocabList(dataSet):
    vocabSet = set([])
    for document in dataSet:
        vocabSet = vocabSet|set(document) #|用于合并两个集合，集合内不含重复项
    return vocabSet

setOfWords2Vec(vocabList,inputSet) 返回一个文档向量，参照字典，文档若出现字典中的的词条，则在向量中对应的位置设为1，否则为0

vocabList:词条库

inputSet:新输入的文本

def setOfWords2Vec(vocabList,inputSet):
    returnVec = [0] * len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[list(vocabList).index(word)] = 1
        else:
            print("the word : %s is not in my Vocabulary!" %word)
    return returnVec

运行函数

listOPosts, listClasses = loadDataSet()

listOPosts

[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]