机器学习基础:朴素贝叶斯及经典实例讲解

朴素贝叶斯(Naive Bayes)详解 贝叶斯决策论、朴素贝叶斯原理与算法实现、具体应用。 阅读详情

原文连接: 

https://www.cnblogs.com/lliuye/p/9178090.htmlhttps://www.cnblogs.com/huangyc/p/10327209.html

朴素贝叶斯法(Naive Bayes)是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入 x ,利用贝叶斯定理求出后验概率最大的输出 y ,即为对应的类别。

在夏季,某公园男性穿凉鞋的概率为 1/2 ,女性穿凉鞋的概率为 2/3 ,并且该公园中男女比例通常为 2:1 ,问题:若你在公园中随机遇到一个穿凉鞋的人,请问他的性别为男性或女性的概率分别为多少?

先验概率

我们使用以上例子来解释一下什么是先验概率。根据以上例子我们设定:假设某公园中一个人是男性为事件 Y=ymen ,是女性则是 Y=ywomen ;一个人穿凉鞋为事件 X=x1 ,未穿凉鞋为事件 X=x0 。而一个人的性别与是否穿凉鞋这两个事件之间是相互独立的。于是我们可以看到该例子中存在四个先验概率:

由于男女生的比例是2:1,那么P(Y=ymen)自然等于2/3,P(Y=ywomen)同理。而先验概率 P(Y=ymen)与P(Y=ywomen) 并不能直接得出,需要根据全概率公式来求解。在学习全概率公式之前,我们先了解一下条件概率。

条件概率

条件概率是指在事件 Y=y 已经发生的条件下,事件 X=x 发生的概率。条件概率可表示为:P(X=x|Y=y) 。而条件概率计算公式为:

其中 P(X=x,Y=y) 是联合概率,也就是两个事件共同发生的概率。而 P(Y=y)以及P(X=x) 是先验概率。我们用例子来说明一下就是:“某公园男性穿凉鞋的概率为 1/2 ”,也就是说“是男性的前提下,穿凉鞋的概率是 1/2 ”,此概率为条件概率,即 P(X=x1|Y=ymen)=1/2 。同理“女性穿凉鞋的概率为 2/3 ” 为条件概率 P(X=x1|Y=ywomen)=1/2 。

全概率公式是指:如果事件 Y=y1,Y=y2,...,Y=yn 可构成一个完备事件组,即它们两两互不相容,其和为全集。则对于事件 X=x 有:

因此对于上面的例子,我们可以根据全概率公式求得:

也就是说不考虑性别的情况下,公园中穿拖鞋的概率为 5/9 ,不穿拖鞋的概率为 4/9 。

后验概率

后验概率是指,某事件 X=x 已经发生,那么该事件是因为事件 Y=y 的而发生的概率。也就是上例中所需要求解的“在知道一个人穿拖鞋的前提下,这个人是男性的概率或者是女性的概率是多少”。后验概率形式化便是:

后验概率的计算要以先验概率为基础。后验概率可以根据通过贝叶斯公式,用先验概率和似然函数计算出来。

贝叶斯公式如下:

说明:分母的变形是使用全概率公式,Y事件取值范围为:{men, women},即男生和女生;分子的变现是根据独立条件概率(贝叶斯定理):

两边同时除以P(B)得到,上节有证明 贝叶斯定理的通俗理解。

根据前面的约定,X=x1表示穿穿拖鞋,Y=ymen 表示男生,该公式即为,穿拖鞋情况下,是男生的概率,正式题目需要我们求的。

而朴素贝叶斯算法正是利用以上信息求解后验概率,并依据后验概率的值来进行分类。使用上面的例子来进行理解,将先验概率和条件概率带入得,后验概率为:

即,在x1(一个人穿拖鞋的情况下),是男生概率是3/5,是女生的概率为2/5,那么,对于分类情况,作为单选题的话,我们有理由将这个人归类为男性,因为是男性的概率大些。

朴素贝叶斯

对于样本集:

其中 m 表示有 m 个样本, n 表示有 n 个特征。yi,i=1,2,..,m 表示样本类别,取值为 {C1,C2,...,CK} 。

(怎么理解呢,yi 我们可以理解为前例的男生,女生,特征可以看成,穿拖鞋)

朴素贝叶斯分类的基本公式

化简一下,朴素贝叶斯分类器可表示为:

朴素贝叶斯算法过程

1)计算先验概率:求出样本类别的个数 K 。对于每一个样本 Y=Ck ,计算出 P(Y=Ck) 。其为类别 Ck 在总样本集中的频率(对于前例男生女生,k=2,男生概率,女生概率)。

2)计算条件概率:将样本集划分成 K 个子样本集,分别对属于 Ck 的子样本集进行计算,计算出其中特征 Xj=ajl 的概率:P(Xj=ajl|Y=Ck)。其为该子集中特征取值为 ajl 的样本数与该子集样本数的比值。(前例中,穿拖鞋与否就是一个特征,对于男生,需要计算穿拖鞋的条件概率,女生也一样)

3)针对待预测样本 xtest ,计算其对于每个类别 Ck 的后验概率:

计算结果,概率值最大的类别即为待预测样本的预测类别。(前例中,由于计算出来,男生概率大,对于分类问题,我们认为是男生)

朴素贝叶斯算法分析

优点:

(1)朴素贝叶斯模型发源于古典数学理论,有稳定的分类效率。

(2)对小规模的数据表现很好,能个处理多分类任务,适合增量式训练,尤其是数据量超出内存时,我们可以一批批的去增量训练。

(3)对缺失数据不太敏感,算法也比较简单,常用于文本分类。

缺点:

(1)理论上,朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此,这是因为朴素贝叶斯模型给定输出类别的情况下,假设属性之间相互独立,这个假设在实际应用中往往是不成立的,在属性个数比较多或者属性之间相关性较大时,分类效果不好。而在属性相关性较小时,朴素贝叶斯性能最为良好。对于这一点,有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。

(2)需要知道先验概率,且先验概率很多时候取决于假设,假设的模型可以有很多种,因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。

(3)由于我们是通过先验和数据来决定后验的概率从而决定分类,所以分类决策存在一定的错误率。

(4)对输入数据的表达形式很敏感。

垃圾邮件分类实现

朴素贝叶斯 (naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类的方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对于给定的输入x,利用贝叶斯定理求出后验概率最大的输出y,完整代码GitHub。

输入:

#垃圾邮件的内容
posting_list = [
    ['my', 'dog', 'has', 'flea', 'problem', 'help', 'please'],
    ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
    ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
    ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
    ['mr', 'licks', 'ate', 'ny', 'steak', 'how', 'to', 'stop', 'him'],
    ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']
    ]
#是否是垃圾邮件的标签
labels = [0, 1, 0, 1, 0, 1]

首先得根据上述文本建立一个词汇表,即把重复的词汇剔除。代码如下:

def createVocabList(dataSet):
    '''
    创建所有文档中出现的不重复词汇列表
    Args:
        dataSet: 所有文档
    Return:
        包含所有文档的不重复词列表,即词汇表
    '''
    vocabSet = set([])
    # 创建两个集合的并集
    for document in dataSet:
        vocabSet = vocabSet | set(document)
    return list(vocabSet)

然后需要把每句话转化为词袋模型(bag-of-words model):

# 词袋模型(bag-of-words model):词在文档中出现的次数
def bagOfWords2Vec(vocabList, inputSet):
    '''
    依据词汇表,将输入文本转化成词袋模型词向量
    Args:
        vocabList: 词汇表
        inputSet: 当前输入文档
    Return:
        returnVec: 转换成词向量的文档
    例子:
        vocabList = ['I', 'love', 'python', 'and', 'machine', 'learning']
        inputset = ['python', 'machine', 'learning', 'python', 'machine']
        returnVec = [0, 0, 2, 0, 2, 1]
        长度与词汇表一样长,出现了的位置为1,未出现为0,如果词汇表中无该单词则print
    '''
    returnVec = [0] * len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] += 1
        else:
            print("the word: %s is not in my vocabulary!" % word)
        return returnVec

目前为止,我们把每份邮件转化成了一系列的向量形式,向量的长度是词表里面的词的个数,是稀疏矩阵。

接下去就是朴素贝叶斯的步骤了,也就是训练的过程:

def fit(self, trainMatrix, trainCategory):
    '''
    朴素贝叶斯分类器训练函数,求:p(Ci),基于词汇表的p(w|Ci)
    Args:
        trainMatrix : 训练矩阵,即向量化表示后的文档(词条集合)
        trainCategory : 文档中每个词条的列表标注
    Return:
        p0Vect : 属于0类别的概率向量(p(w1|C0),p(w2|C0),...,p(wn|C0))
        p1Vect : 属于1类别的概率向量(p(w1|C1),p(w2|C1),...,p(wn|C1))
        pAbusive : 属于1类别文档的概率
    '''
    numTrainDocs = len(trainMatrix)
    # 长度为词汇表长度
    numWords = len(trainMatrix[0])
    # p(ci)
    self.pAbusive = sum(trainCategory) / float(numTrainDocs)
    # 由于后期要计算p(w|Ci)=p(w1|Ci)*p(w2|Ci)*...*p(wn|Ci),若wj未出现,则p(wj|Ci)=0,因此p(w|Ci)=0,这样显然是不对的
    # 故在初始化时,将所有词的出现数初始化为1,分母即出现词条总数初始化为2
    p0Num = np.ones(numWords)
    p1Num = np.ones(numWords)
    p0Denom = 2.0
    p1Denom = 2.0
    for i in range(numTrainDocs):
        if trainCategory[i] == 1:
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    # p(wi | c1)
    # 为了避免下溢出(当所有的p都很小时,再相乘会得到0.0,使用log则会避免得到0.0)
    self.p1Vect = np.log(p1Num / p1Denom)
    # p(wi | c2)
    self.p0Vect = np.log(p0Num / p0Denom)
    return self

训练完了,剩下的是对新数据的预测过程:

def predict(self, testX):
    '''
    朴素贝叶斯分类器
    Args:
        testX : 待分类的文档向量(已转换成array)
        p0Vect : p(w|C0)
        p1Vect : p(w|C1)
        pAbusive : p(C1)
    Return:
        1 : 为侮辱性文档 (基于当前文档的p(w|C1)*p(C1)=log(基于当前文档的p(w|C1))+log(p(C1)))
        0 : 非侮辱性文档 (基于当前文档的p(w|C0)*p(C0)=log(基于当前文档的p(w|C0))+log(p(C0)))
    '''

    p1 = np.sum(testX * self.p1Vect) + np.log(self.pAbusive)
    p0 = np.sum(testX * self.p0Vect) + np.log(1 - self.pAbusive)
    if p1 > p0:
        return 1
    else:
        return 0

朴素贝叶斯案例解析 文章目录什么是贝叶斯贝叶斯算例 什么是贝叶斯 贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展,用来描述两个条件概率之间的关系,如下: P(A∣B)=P(B∣A)P(A)P(B)P(A|B) = \frac{P(B|A)P(A)}{P(B)}P(A∣B)=P(B)P(B∣A)P(A)​ P(A):事件A发生的概率 P(B):事件B发生的概率 P(A|B):事件B发生的条件下(B已经发生),事件A发生的概率 P(B|A):事件A发生的条件下(A已经发生),事件B发生的概 阅读详情

相关推荐

朴素贝叶斯算法

朴素贝叶斯优缺点:优点:在数据较少的情况下仍然有效,可以处理多类别问题缺点:对于输入数据的准备方式较为敏感,由于朴素贝叶斯的“特征条件独立”特点,所以会带来一些准确率上的损失。

weixin_55773387的博客 5917

朴素贝叶斯(Naive Bayes)

朴素贝叶斯

weixin_44992737的博客 1万+

朴素贝叶斯实例(肿瘤良性与恶性)【机器学习算法一朴素贝叶斯5】

import matplotlib.pyplot as plt import numpy as np #导入肿瘤数据集 from sklearn.datasets import load_breast_cancer cancer=load_breast_cancer() print("=======================数据集信息====================") print...

XiaobaiLaplace的博客 2147

【朴素贝叶斯】深入浅出讲解朴素贝叶斯算法(公式、原理)

朴素贝叶斯(Naive Bayes)是一种简单经典的分类算法,它的经典应用案例为人所熟知:文本分类(如垃圾邮件过滤)。条件概率:记事件A发生的概率为P(A),事件B发生的概率为P(B),则在B事件发生的前提下,A事件发生的概率即为条件概率,记为P(A|B)。

程序星空实验室 5万+

机器学习(五):高斯朴素贝叶斯(基础篇)

机器学习(五):高斯朴素贝叶斯(基础篇) 在高斯朴素贝叶斯中,每个特征都是连续的,并且都呈高斯分布。高斯分布又称为正态分布。图画出来以后像一个倒挂的钟,以均值为轴对称,如下图所示: GaussianNB 实现了运用于分类的高斯朴素贝叶斯算法。特征的可能性(即概率)假设为高斯分布: 参数\large \sigma _{y}和\large \mu _{y}使用最大似然法估计。 使用数据集:Iris...

Auraros的博客 4121

机器学习实验四:朴素贝叶斯

朴素贝叶斯

weixin_73926887的博客 1462

Python 机器学习经典实例

内容介绍 在如今这个处处以数据驱动的世界中,机器学习正变得越来越大众化。它已经被广泛地应用于不同领域,如搜索引擎、机器人、无人驾驶汽车等。本书首先通过实用的案例介绍机器学习的基础知识,然后介绍一些稍微复杂的机器学习算法,例如支持向量机、极端随机森林、隐马尔可夫模型、条件随机场、深度神经网络,等等。 用最火的Python语言、通过各种各样的机器学习算法来解决实际问题! 书中介绍的主要问题如下。 探...

GitChat 1万+

机器学习:朴素贝叶斯

概率表示随机事件发生可能性大小的一个数值,随机事件指在相同条件下,可能出现也可能不出现的事件。抛硬币: 当我们抛硬币时,可以正面朝上也可以反面朝上,正面或反面朝上的可能性被称为概率。理想状态下正反概率都是0.5。掷骰子: 掷一个六面的骰子,每个点出现的概率是1/6,因为每个面出现的机会是均等的。抽取商品: 一批商品包含良品和次品,随机抽取一件,抽取良品或次品是一个随机事件,经过大量实验,我们可以得到一个常数,表示抽取次品的概率。

feeling_time的博客 1083

机器学习 —— 朴素贝叶斯

​ 一、基于贝叶斯决策理论的分类方法 二、条件概率 三、朴素贝叶斯分类器 四、使用朴素贝叶斯进行文档分类 4.1准备数据:从文本中构建词向量 4.2 训练算法:从词向量计算概率 4.3 测试算法:根据现实情况修改分类器 4.4 准备数据:文档词袋模型 五、示例:使用朴素贝叶斯过滤垃圾邮件 5.1准备数据:切分文本 5.2 测试算法:使用朴素贝叶斯进行交叉验证 5.3 垃圾邮件分类完整代码 六、朴素贝叶斯实验总结

DreamWendy的博客 2万+

朴素贝叶斯 原理与代码实例讲解

朴素贝叶斯 原理与代码实例讲解 作者:禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 在众多机器学习算法中,朴素贝叶斯(Naive Ba

AI天才研究院 827

ESP32 CAM使用教程(入门级)

串口被占用,可以关闭其他使用到串口的界面;先将手机也连上wifi,然后使用手机浏览器打开这个IP地址,注意手机连接的wifi需要和开发板的wifi一致,也就是程序里自己修改的那个wifi,否则无法打开IP地址;将开发板连接到电脑,点击点击工具→端口,然后选择自己实际接的COM口,不清楚COM口的可以打开电脑设备管理器查看一下,插拔设备看看哪个COM口会刷新就是哪个COM口;安装好esp32库之后,点击工具→开发板→esp32→AI Thinker ESP32-CAM,型号要仔细找找,不要选错了;

qq_34426854的博客 2万+

【机器学习】朴素贝叶斯算法

朴素贝叶斯(Naive Bayes)是经典的机器学习算法之一,也是为数不多的基于概率论的分类算法。由于朴素贝叶斯计算联合概率,所以朴素贝叶斯模型属于生成式模型。经典应用案例包括:文本分类、垃圾邮件过滤等。

Dong_ZH的博客 1万+

科研党必备:Python脚本批量下载DOI文献的保姆级教程(附避坑指南)

本文为科研人员提供了一份详细的Python脚本批量下载DOI文献的教程,涵盖环境配置、核心功能实现、性能优化及常见问题解决。通过自动化脚本,研究者可高效完成文献批量下载,显著提升科研工作效率,特别适合需要处理大量文献的研究团队使用。

weixin_26965807的博客 479

机器学习之朴素贝叶斯

机器学习朴素贝叶斯算法的核心思想是通过考虑特征概率来预测分类,即对于给出的待分类样本,求解在此样本出现的条件下各个类别出现的概率,哪个最大,就认为此待分类样本属于哪个类别。朴素贝叶斯是一种分类算法,经常被用于文本分类,它的输出结果是某个样本属于某个类别的概率。先验概率是指根据以往经验和分析得到的概率。事情已发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,后验分布P(Y|X)表示事件X已经发生的前提下,事件Y发生的概率,称事件X发生下事件Y的条件概率。

weixin_74105361的博客 2568

基于OpenMV与双舵机云台的激光追踪系统实战解析

本文详细解析了基于OpenMV摄像头与双舵机云台的激光追踪系统设计与实现。从硬件选型、图像识别算法到PID控制逻辑,全面介绍了如何构建一个高效稳定的激光追踪系统,并分享了电子设计竞赛中的实战经验与调试技巧。该系统在智能玩具、安防监控及教学演示等领域具有广泛应用前景。

prometheus9mon的博客 263

PPPoE上网配置不求人:华为路由器命令行操作指南(2023最新版)

本文提供2023年最新的华为路由器PPPoE上网配置命令行操作指南。通过详细的步骤讲解,从连接设备、创建拨号接口、绑定PPPoE客户端到配置内网与NAT,手把手教你完成配置,并附有验证排错方法,助你轻松实现稳定上网。

s4t5u6v的博客 682

ML之NB:朴素贝叶斯Naive Bayesian算法的简介、应用、经典案例之详细攻略

​ ML之NB:朴素贝叶斯Naive Bayesian算法的简介、应用、经典案例之详细攻略 目录 NB算法的简介 NB算法的应用:案例理解 NB算法的经典案例 NB算法的简介 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。朴素贝叶斯分类器基于一个简单的假定:给定目标值时属性之间相互条件独立。 通过以上定理和“朴素”的假定,我们知道: P(Category | Document) = P(Document | Categ

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 1万+

VMware使用Windows、WinXP等虚拟机上不了网的解决办法(管用)

这个情况一般出现在可以插网线的电脑上,比如台式机和有网线插口的笔记本。需要转换器才能插网线的笔记本一般不会出现这种情况. 查看主机的IP地址和虚拟机的IP地址是否在同一网段,如果在的话,虚拟机就能上网了!!(备注:虚拟机中的IP地址一定要和主机中的用来上网的那个连接的IP地址相同哦)。

爱吃雪糕的小布丁的博客 1万+

sklearn机器学习之朴素贝叶斯

????上次我们讲到了决策树算法,都是基于sklearn实现的,这次我们要学习的内容是朴素贝叶斯,何为“朴素”,朴素的含义即特征之间相互独立,没有关联关系。对以前内容感兴趣的小伙伴可以参考以下内容????: 决策树模型: sklearn之决策树. 线性回归模型: sklearn机器学习之线性回归模型. ????今天我们来学习第二个概率模型,朴素贝叶斯,概率模型是不需要做标准化的,请大家牢记! 目录1.贝叶斯公式简介2.朴素贝叶斯的应用3.朴素贝叶斯的种类3.1 贝努力朴素贝叶斯3.2 高斯朴素贝叶斯3.

柳小葱的博客 5552

瑞芯微RK3588/RK3576平台采集BT1120(fpga)驱动调试记录

本文介绍了在RK3576/RK3588平台上采集FPGA传输的BT1120数据的方法。主要内容包括:1)硬件连接需确认管脚复用和图像格式(通常为uyvy_2x8);2)设备树配置要点,如I2C总线设置、BT1120模式指定等;3)驱动适配注意事项,包括时钟极性、分辨率格式等关键参数;4)测试方法,通过media-ctl和v4l2-ctl工具验证数据采集。文中特别指出RK3576和RK3588配置的通用性,并提供了常见问题的排查思路。

bingdund的博客 924

基于 Simulink 的**单相全桥 LLC 谐振双向 DC-DC 变换器(带软开关特性)**实战教程

原边(Primary):全桥逆变电路(4个 MOSFET/IGBT),将直流斩波为高频方波。变压器:提供电气隔离和电压变比。副边(Secondary):全波或全桥整流电路(同步整流或二极管)。

xiaoheshang_123的博客 55

机器学习之朴素贝叶斯原理

机器学习之朴素贝叶斯原理

SKIp121whats112的博客 2345

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

上一篇: NumPy库入门教程:基础知识总结
下一篇: 转需!机器学习/算法工程师 120 道面试常考题!
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值