统计学习方法超详细学习笔记-第四章 朴素贝叶斯

朴素贝叶斯学习
最新推荐文章于 2025-11-30 15:25:22 发布
原创 最新推荐文章于 2025-11-30 15:25:22 发布 · 270 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

本文主要介绍了朴素贝叶斯分类器的基本原理与应用。详细解释了条件独立假设下的分类过程，探讨了后验概率最大化原则，并给出了参数估计的方法。

第四章 朴素贝叶斯

4.1 朴素贝叶斯法的学习与分类

4.1.1 基本方法

在这里插入图片描述
在这里插入图片描述

朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。 条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。这一假设使朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。

4.1.2 后验概率最大化的含义

在这里插入图片描述

4.2 朴素贝叶斯法的参数估计

在这里插入图片描述

4.2.2 学习与分类算法

在这里插入图片描述

在这里插入图片描述

4.2.3贝叶斯估计

在这里插入图片描述

周志华机器学习西瓜书 第七章 贝叶斯分类器-学习笔记(超详细)
Sodas的博客
02-26 1175
缺点也是显然的：如果数据量较大，拉普拉斯修正可能会引入过多的平滑，导致概率估计不够准确、对于某些特定问题，可能需要调整平滑参数（如加的常数不一定是1）、而且拉普拉斯修正实际上是假定了属性与类别的均匀分布，这是额外引入的偏差，因为本身可能本身不是均匀的，所以这个要注意，实际问题是否是均匀的，若是不均匀可以调整所加的常数，调整偏差。是主观的，只是随着新证据的发现去不断的更新对概率的"信念值"。"，即频率 主义认为概率是"事件"，在大量重复性实验中所发生的频率，就会逼近真实的概率，涉及到极限的概念，是客观的。
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第4章 朴素贝叶斯法
weixin_42046845的博客
01-25 1566
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第4章 朴素贝叶斯法
《统计学习方法》笔记第四章
lvchunyang66的博客
06-27 224
朴素贝叶斯（naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习/输出的联合概率分布；然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。 本章叙述朴素贝叶斯法，包括朴素贝叶斯法的学习与分类、朴素贝叶斯法的参数估计法。 朴素贝叶斯法通过训练数据集...
《统计学习方法》学习笔记（第四章）
Hhhhuply的博客
03-25 604
朴素贝叶斯 是基于贝叶斯定理与特征条件独立假设的分类方法 对于给定训练数据集，首先基于特征条件独立假设学习输入/输出的联合分布概率；然后基于此模型，对给定的输入x，利用贝叶斯理论求出后验概率的最大的输出y。 ...
统计学习方法——第4章 朴素贝叶斯法（个人笔记）
pk296256948的博客
04-06 789
统计学习方法——第4章 朴素贝叶斯法（个人笔记） 参考《统计学习方法》（第二版）李航 朴素贝叶斯法：基于贝叶斯定理与特征条件独立假设的分类方法。 4.1 朴素贝叶斯法的学习与分类 4.1.1 基本方法 训练数据集 先学习先验概率分布及条件概率分布 先验概率分布 条件概率分布 这样学习到联合概率分布 朴素贝叶斯法的条件概率分布假设条件相互独立的即条件独立性 朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验概率分布，将后验概率最大的类作为x的类输出。 后验
统计学习方法学习笔记 第四章 朴素贝叶斯
weixin_44939026的博客
05-15 276
朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。 具体方法： 对于给定的训练数据集，首先基于特征条件独立假设学习的输入输出的联合概率分布，然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。 4.1 朴素贝叶斯法的学习与分类 4.1.1 基本方法 4.1.2 后验概率最大化的含义 4.2 朴素贝叶斯法的参数估计 4.2.1 极大似然估计法 4.2.2 学习与分类算法 4.2.3 贝叶斯估计 ...
统计学习方法第四章笔记——朴素贝叶斯
02-29 1354
4.1 模型介绍　　模型的输入空间为χ∈Rnχ∈R^n的nn维向量，输出空间为类标记集合y={c1,c2,…ck}y=\{c_1,c_2,…c_k\}，XX是定义在χχ上的随机变量，YY是定义在yy上的随机变量，P(X,Y)P(X,Y)是XX和YY的联合分布，训练数据集T={(x1,y1),(x2,y2),…(xn,yn)}T=\{(x_1,y_1 ),(x_2,y_2 ),…(x_n,y_n)\}
【学习笔记】 陈强-机器学习-Python-Ch8 朴素贝叶斯
2201_76026029的博客
08-13 934
本学习笔记 仅为以防自己忘记了，顺便分享给一起学习的网友们参考。如有不同意见/建议，可以友好讨论。本学习笔记 所有的代码和数据都可以从陈强老师的个人主页上下载陈强.机器学习及Python应用. 北京：高等教育出版社, 2021.数学原理等 详见陈强老师的PPT参考了网友阡之尘埃的Python机器学习06——朴素贝叶斯提示：以下是本篇文章正文内容，下面案例可供参考#定义X与y#全样本随机分20%测试集和80%训练集X, y,
机器学习笔记--4、朴素贝叶斯及python实现
高雅的博客
04-27 1896
朴素贝叶斯 文章目录朴素贝叶斯概率基础随机事件样本空间概率联合概率条件概率独立性全概率公式贝叶斯公式朴素贝叶斯拉普拉斯平滑处理算法处理流程sklearn中的朴素贝叶斯高斯朴素贝叶斯python实现高斯朴素贝叶斯多项式朴素贝叶斯——用于文本分类 朴素贝叶斯模型（Naive Bayesian Model，NBM） 朴素贝叶斯分类器是一个以贝叶斯定理为基础 的多分类的分类器。 对于给定数据，首先基于特征...
《统计学习方法》 第四章 读书笔记
lbllol365的博客
03-15 450
第四章 朴素贝叶斯法 概述 　　基本思想：对于给定的数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布，然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。 　　特点：实现简单；学习和预测的效率都很高；很常用。 4.1 朴素贝叶斯法的学习与分类 给定数据集 T={(x1,y1),(x2,y2),⋯,(xN,yN)}T={(x1,y1),(x2,y...
统计学习方法笔记（李航）———第四章（朴素贝叶斯法）
weixin_44023658的博客
09-23 507
朴素贝叶斯法是一种多分类算法，它的基础是“朴素贝叶斯假设”（假设实例的各个特征具有条件独立性）。根据训练集估计模型的先验概率、条件概率，再按照后验概率最大化的准则，给出输入实例的分类预测。它的算法实现很简单，但理论证明并不容易。 具体来说，通过极大似然估计法估计先验概率、条件概率，计算过程比较复杂，书上也没有给出。本章主要分为3个部分： 朴素贝叶斯分类器，介绍它的基本假设与算法实现； 先验概率、条件概率的极大似然估计； 贝叶斯估计与拉普拉斯平滑。 一、朴素贝叶斯分类器 输入：训练集 T={(x1,y1)
统计学习方法学习笔记：第四章.朴素贝叶斯
weixin_44692791的博客
10-12 183
第四章：朴素贝叶斯
统计学习方法学习笔记（第四章　朴素贝叶斯法）
m0_37764496的博客
10-18 296
朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y),　具体地，学习以下先验概率分布以及条件概率分布。先验概率分布为 P(Y = ck); 条件概率分布为p(X = x | Y = ck)； 条件概率分布有指数级量级的参数，其实际参数的估计是不可行的。那么参数个数为K Sj. 朴素贝叶斯法对条件概率分布作了条件独立性的假设，由于这是一个较强的假设，朴素贝叶斯法也由此得名。 朴素贝叶斯法...
《统计学习方法》第四章总结
backer
01-28 380
第四章讲的是朴素贝叶斯法。首先我们要区别先验概率和后验概率以及贝叶斯公式 先验概率：P（x） 后验概率：条件概率 P（y| x） 贝叶斯公式及其各种形式 这个公式是我们在概率论中最常见的公式。朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型，条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。后验概率最大化等价于期望风险最小化，由上述，可以推导出朴素贝叶斯算法
李航《统计学习方法》学习笔记之——第四章：朴素贝叶斯法
码农的科研笔记
06-10 607
“李航《统计学习方法》学习笔记”系列教程以李航老师《统计学习方法》为基础，系列笔记内容主要包括我学习过程中对于书中算法原理的理解和重点知识的汇总。 由于能力有限，不足支持请大家多多指正，大家有什么想法也非常欢迎留言评论！ 关于我的更多学习笔记，欢迎您关注“武汉AI算法研习”公众号！ 本文分三个部分“【针对朴素贝叶斯法的理解】”、“【朴素贝叶斯算法原理】”、“【文本分类上应用】”来进行...
《统计学习方法》决策树及剪枝，回归树分类树
Francis_s的博客
07-02 1336
1. 决策树 决策树可以用于分类和回归的应用里面，这里讨论的决策树是一个二叉树的形式，我们可以用伪代码的方式去表达出来：决策树就是一个 if-then 的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。利用训练数据，根据损失函数最小化的原则建立决策树模型，其中包括：特征选择，决策树的生成，决策树的剪枝三个步骤。 下面讨论的都是分类决策树，除了CART树会讨论到回归树 1.1.1 决策树模型 定义：决策树由结点和有向边组成，其中，结点由内部节点...
《统计学习方法》学习笔记(四)——朴素贝叶斯法
哇哦，小菜鸟
11-30 1908
相信大家对贝叶斯定理已经非常熟悉了，不过这里还是先对贝叶斯定理进行一下扫盲介绍。 　　预备知识：P(A|B)P(A|B)是在B发生的情况下A发生的可能性 假设B1,......,BnB_{1},......,B_{n}为互斥且构成一个完全事件，已知概率P(Bi),i=1,....,nP(B_{i}),i=1,....,n，现观察到某事件A与B1,......,BnB_{1},......,B_
【模式识别与机器学习（1）】基础概念之：模式识别基础
hiliang521的博客
11-30 989
关键词：时空特征组合、向量表示、模式类、信息表征模式是模式识别领域的基础概念。广义地说，模式是指区别事物的时空特征组合，存在于时间和空间中可观察的物体，只要我们能够区别它们是否相同或相似，都可以称之为模式。从信息的角度来看，模式不是事物本身，而是从事物获得的信息。这种信息往往具有时间和空间的分布特性，比如个人的照片所包含的像素信息，歌曲旋律所体现的音阶变化，以及动物步态所反映的运动特征。这些信息通过特定的方式组织起来，形成了我们能够识别和区分的模式。在数学上，模式一般用向量来表示。
机器学习周报二十四
最新发布
weixin_60864619的博客
11-30 894
本周学习了潜在扩散模型的概念，潜在扩散模型的实现是很简单的，之后学习了变分自编码器(VAE)。同时解决了之前的RCNN目标检测的模型，但是效果很差。This week, I studied the concept of latent diffusion models. The implementation of latent diffusion models is quite simple. Afterwards, I learned about variational autoencoders (VAE)
朴素贝叶斯分类方法详解：从理论到Python实践
"《机器学习实战》第四章深入探讨了基于概率论的分类方法，特别是朴素贝叶斯算法。这份学习笔记涵盖了从贝叶斯决策理论基础到实际应用的完整过程，包括条件概率、贝叶斯准则以及如何利用这些概念进行分类。资源还...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值