统计学习方法超详细学习笔记-第四章 朴素贝叶斯

最新推荐文章于 2025-07-19 16:58:54 发布
原创 最新推荐文章于 2025-07-19 16:58:54 发布 · 251 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

本文主要介绍了朴素贝叶斯分类器的基本原理与应用。详细解释了条件独立假设下的分类过程，探讨了后验概率最大化原则，并给出了参数估计的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

第四章 朴素贝叶斯

4.1 朴素贝叶斯法的学习与分类

4.1.1 基本方法

在这里插入图片描述
在这里插入图片描述

朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。 条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。这一假设使朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。

4.1.2 后验概率最大化的含义

在这里插入图片描述

4.2 朴素贝叶斯法的参数估计

在这里插入图片描述

4.2.2 学习与分类算法

在这里插入图片描述

在这里插入图片描述

4.2.3贝叶斯估计

在这里插入图片描述

《统计学习方法》学习笔记（第四章）
Hhhhuply的博客
03-25 583
朴素贝叶斯 是基于贝叶斯定理与特征条件独立假设的分类方法 对于给定训练数据集，首先基于特征条件独立假设学习输入/输出的联合分布概率；然后基于此模型，对给定的输入x，利用贝叶斯理论求出后验概率的最大的输出y。 ...
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第4章 朴素贝叶斯法
weixin_42046845的博客
01-25 1509
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第4章 朴素贝叶斯法
《统计学习方法》笔记第四章
lvchunyang66的博客
06-27 208
朴素贝叶斯（naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习/输出的联合概率分布；然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。 本章叙述朴素贝叶斯法，包括朴素贝叶斯法的学习与分类、朴素贝叶斯法的参数估计法。 朴素贝叶斯法通过训练数据集...
统计学习方法学习笔记 第四章 朴素贝叶斯
weixin_44939026的博客
05-15 262
朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。 具体方法： 对于给定的训练数据集，首先基于特征条件独立假设学习的输入输出的联合概率分布，然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。 4.1 朴素贝叶斯法的学习与分类 4.1.1 基本方法 4.1.2 后验概率最大化的含义 4.2 朴素贝叶斯法的参数估计 4.2.1 极大似然估计法 4.2.2 学习与分类算法 4.2.3 贝叶斯估计 ...
统计学习方法第四章笔记——朴素贝叶斯
02-29 1328
4.1 模型介绍　　模型的输入空间为χ∈Rnχ∈R^n的nn维向量，输出空间为类标记集合y={c1,c2,…ck}y=\{c_1,c_2,…c_k\}，XX是定义在χχ上的随机变量，YY是定义在yy上的随机变量，P(X,Y)P(X,Y)是XX和YY的联合分布，训练数据集T={(x1,y1),(x2,y2),…(xn,yn)}T=\{(x_1,y_1 ),(x_2,y_2 ),…(x_n,y_n)\}
《统计学习方法》 第四章 读书笔记
lbllol365的博客
03-15 433
第四章 朴素贝叶斯法 概述 　　基本思想：对于给定的数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布，然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。 　　特点：实现简单；学习和预测的效率都很高；很常用。 4.1 朴素贝叶斯法的学习与分类 给定数据集 T={(x1,y1),(x2,y2),⋯,(xN,yN)}T={(x1,y1),(x2,y...
周志华机器学习西瓜书 第七章 贝叶斯分类器-学习笔记(超详细)
Sodas的博客
02-26 1040
缺点也是显然的：如果数据量较大，拉普拉斯修正可能会引入过多的平滑，导致概率估计不够准确、对于某些特定问题，可能需要调整平滑参数（如加的常数不一定是1）、而且拉普拉斯修正实际上是假定了属性与类别的均匀分布，这是额外引入的偏差，因为本身可能本身不是均匀的，所以这个要注意，实际问题是否是均匀的，若是不均匀可以调整所加的常数，调整偏差。是主观的，只是随着新证据的发现去不断的更新对概率的"信念值"。"，即频率 主义认为概率是"事件"，在大量重复性实验中所发生的频率，就会逼近真实的概率，涉及到极限的概念，是客观的。
【学习笔记】 陈强-机器学习-Python-Ch8 朴素贝叶斯
2201_76026029的博客
08-13 790
本学习笔记 仅为以防自己忘记了，顺便分享给一起学习的网友们参考。如有不同意见/建议，可以友好讨论。本学习笔记 所有的代码和数据都可以从陈强老师的个人主页上下载陈强.机器学习及Python应用. 北京：高等教育出版社, 2021.数学原理等 详见陈强老师的PPT参考了网友阡之尘埃的Python机器学习06——朴素贝叶斯提示：以下是本篇文章正文内容，下面案例可供参考#定义X与y#全样本随机分20%测试集和80%训练集X, y,
机器学习笔记--4、朴素贝叶斯及python实现
高雅的博客
04-27 1876
朴素贝叶斯 文章目录朴素贝叶斯概率基础随机事件样本空间概率联合概率条件概率独立性全概率公式贝叶斯公式朴素贝叶斯拉普拉斯平滑处理算法处理流程sklearn中的朴素贝叶斯高斯朴素贝叶斯python实现高斯朴素贝叶斯多项式朴素贝叶斯——用于文本分类 朴素贝叶斯模型（Naive Bayesian Model，NBM） 朴素贝叶斯分类器是一个以贝叶斯定理为基础 的多分类的分类器。 对于给定数据，首先基于特征...
李航《统计学习方法》笔记-从原理到实现
10-24
第四章 朴素贝叶斯算法 4.1.1 基本方法（P47-P48） 4.1.2 后验概率最大化的含义（P48-49） 4.2.1 极大似然估计（P49） 4.2.2 学习与分类算法（P50-51） 第五章 决策树 5.2.2 信息增益（P60-P61） 5.2.3 信息增益比...
统计学习方法——第4章 朴素贝叶斯法（个人笔记）
pk296256948的博客
04-06 753
统计学习方法——第4章 朴素贝叶斯法（个人笔记） 参考《统计学习方法》（第二版）李航 朴素贝叶斯法：基于贝叶斯定理与特征条件独立假设的分类方法。 4.1 朴素贝叶斯法的学习与分类 4.1.1 基本方法 训练数据集 先学习先验概率分布及条件概率分布 先验概率分布 条件概率分布 这样学习到联合概率分布 朴素贝叶斯法的条件概率分布假设条件相互独立的即条件独立性 朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验概率分布，将后验概率最大的类作为x的类输出。 后验
统计学习方法笔记（李航）———第四章（朴素贝叶斯法）
weixin_44023658的博客
09-23 475
朴素贝叶斯法是一种多分类算法，它的基础是“朴素贝叶斯假设”（假设实例的各个特征具有条件独立性）。根据训练集估计模型的先验概率、条件概率，再按照后验概率最大化的准则，给出输入实例的分类预测。它的算法实现很简单，但理论证明并不容易。 具体来说，通过极大似然估计法估计先验概率、条件概率，计算过程比较复杂，书上也没有给出。本章主要分为3个部分： 朴素贝叶斯分类器，介绍它的基本假设与算法实现； 先验概率、条件概率的极大似然估计； 贝叶斯估计与拉普拉斯平滑。 一、朴素贝叶斯分类器 输入：训练集 T={(x1,y1)
统计学习方法学习笔记：第四章.朴素贝叶斯
weixin_44692791的博客
10-12 167
第四章：朴素贝叶斯
统计学习方法学习笔记（第四章　朴素贝叶斯法）
m0_37764496的博客
10-18 287
朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y),　具体地，学习以下先验概率分布以及条件概率分布。先验概率分布为 P(Y = ck); 条件概率分布为p(X = x | Y = ck)； 条件概率分布有指数级量级的参数，其实际参数的估计是不可行的。那么参数个数为K Sj. 朴素贝叶斯法对条件概率分布作了条件独立性的假设，由于这是一个较强的假设，朴素贝叶斯法也由此得名。 朴素贝叶斯法...
《统计学习方法》第四章总结
backer
01-28 362
第四章讲的是朴素贝叶斯法。首先我们要区别先验概率和后验概率以及贝叶斯公式 先验概率：P（x） 后验概率：条件概率 P（y| x） 贝叶斯公式及其各种形式 这个公式是我们在概率论中最常见的公式。朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型，条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。后验概率最大化等价于期望风险最小化，由上述，可以推导出朴素贝叶斯算法
李航《统计学习方法》学习笔记之——第四章：朴素贝叶斯法
码农的科研笔记
06-10 582
“李航《统计学习方法》学习笔记”系列教程以李航老师《统计学习方法》为基础，系列笔记内容主要包括我学习过程中对于书中算法原理的理解和重点知识的汇总。 由于能力有限，不足支持请大家多多指正，大家有什么想法也非常欢迎留言评论！ 关于我的更多学习笔记，欢迎您关注“武汉AI算法研习”公众号！ 本文分三个部分“【针对朴素贝叶斯法的理解】”、“【朴素贝叶斯算法原理】”、“【文本分类上应用】”来进行...
《统计学习方法》决策树及剪枝，回归树分类树
Francis_s的博客
07-02 1280
1. 决策树 决策树可以用于分类和回归的应用里面，这里讨论的决策树是一个二叉树的形式，我们可以用伪代码的方式去表达出来：决策树就是一个 if-then 的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。利用训练数据，根据损失函数最小化的原则建立决策树模型，其中包括：特征选择，决策树的生成，决策树的剪枝三个步骤。 下面讨论的都是分类决策树，除了CART树会讨论到回归树 1.1.1 决策树模型 定义：决策树由结点和有向边组成，其中，结点由内部节点...
《统计学习方法》学习笔记(四)——朴素贝叶斯法
哇哦，小菜鸟
11-30 1882
相信大家对贝叶斯定理已经非常熟悉了，不过这里还是先对贝叶斯定理进行一下扫盲介绍。 　　预备知识：P(A|B)P(A|B)是在B发生的情况下A发生的可能性 假设B1,......,BnB_{1},......,B_{n}为互斥且构成一个完全事件，已知概率P(Bi),i=1,....,nP(B_{i}),i=1,....,n，现观察到某事件A与B1,......,BnB_{1},......,B_
python学智能算法（二十五）|SVM-拉格朗日乘数法理解
最新发布
专注python+工程实践的热心婶子
07-19 953
本文梳理了支持向量机中最佳超平面求解的核心概念与拉格朗日乘数法的应用。首先介绍了函数距离F与几何距离δ的关系（δ=F/||w||），指出寻找最佳超平面就是在所有最小几何距离中选取最大值的过程。通过将函数距离设为1，将问题转化为最小化||w||²/2的距离函数f。接着详细阐释了拉格朗日乘数法的原理：当目标函数f在约束条件g下取得极值时，其梯度向量平行（∇f=λ∇g）。通过分解梯度方向，说明了极值点处f在约束切向上无分量的几何意义，并辅以等高线图示帮助理解这一关键数学工具在优化问题中的应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值