统计学习方法-第四章朴素贝叶斯

最新推荐文章于 2024-01-25 18:15:47 发布
最新推荐文章于 2024-01-25 18:15:47 发布
阅读量207 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u010710787/article/details/88030194
本文深入探讨了朴素贝叶斯这一基于贝叶斯定理与特征条件独立假设的分类方法。介绍了通过训练数据学习联合概率分布P(X,Y)，进而求得后验概率分布P(Y/X)的过程。具体分析了如何利用训练数据进行P(X/Y)和P(Y)的估计，以获取联合概率分布P(X,Y)，并讨论了概率估计方法，包括极大似然估计和贝叶斯估计。同时，文章指出由于条件独立性的假设，朴素贝叶斯模型的学习与预测过程得到了极大的简化，虽然这可能影响分类性能，但其高效性和易实现性使其在实际应用中仍具有重要价值。

1. 朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。

由训练数据学习联合概率分布P(X,Y),然后求得后验概率分布P(Y/X)。

具体地，利用训练数据学习P(X/Y)和P(Y)的估计，然后得到联合概率分布P（X,Y）

概率估计方法极大似然估计或者贝叶斯估计。

2. 由于条件独立性的假设，包含的条件概率大为减少，学习与预测大为简化，高效易实现，分类性能不一定高。

                

《统计学习方法》 第4章 朴素贝叶斯法
weixin_46034279的博客
04-23 950
本文只要记录一些书中的一些小知识点，挑一些本人认为重要的地方进行总结。各位道友！道长(zhǎng) 道长(chǎng)今天的内容是统计学习方法的第一章节，挺容易理解的，结合模型图理解更加方便。
机器学习-----朴素贝叶斯
qq_54708796的博客
11-29 2301
目录 一 基本概念 1 简介 2 朴素贝叶斯的优缺点 2 先验概率和后验概率 3 条件概率与全概率公式 4 贝叶斯推断 二 贝叶斯分类器的简单应用 1 数据说明 2 进行分类 三 朴素贝叶斯过滤垃圾邮件 1 流程说明 2 构建词向量 3 词向量计算概率 4 朴素贝叶斯分类函数 5 使用朴素贝叶斯进行交叉验证 四 总结 一、基本概念 1.简介 最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。和决策树模型.
【统计学习方法】朴素贝叶斯
JIANGSAS的博客
03-14 1691
一、前言 朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。”朴素贝叶斯“之”朴素“之名即来源于其特征条件独立的假设。对于给定的数据集，首先基于特征条件独立假设学习输入输出的联合概率分布，而后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。具体地，条件独立性假设是： P(X=x∣Y=ck)=P(X(1)=x(1),...,X(n)=x(n)∣Y=ck)=∏j=1nP(X(j)=x(j)∣Y=ck)P(X = {\rm{x}}|Y = {c_k}) = P({X^{(1)}} =
《统计学习方法》——朴素贝叶斯法
韩明宇
04-30 967
朴素贝叶斯法的学习与分类 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的y。 基本方法 设输入空间为n维向量的集合，输入空间为类标记集合。输入为特征向量，输出为类标记。X是定义在输入空间X上的随机变量，Y是定义在输出空间Y上的随机变量。...
统计学习方法 | 朴素贝叶斯法
天下弈星~的博客
09-15 196
【代码】统计学习方法 | 朴素贝叶斯法。
统计学习方法: 朴素贝叶斯方法(各方收集)
smile071008的博客
07-15 353
1.朴素贝叶斯方法介绍: 朴素贝叶斯法分类时,对于给定的输入x,通过学习到的模型计算后验概率概率,将后验概率最大的类作为x的类输出. 朴素贝叶斯法是典型的生成学习方法,生成方法由训练数据学习联合概率分布p(x,y),然后求得后验概率分布p(x|y).概率估计方法可以是极大似然估计或贝叶斯估计. 2. 优缺点:基本假设是条件独立性,由于这个假设,模型高效且易于实现,但是强假设会导致模型包含的条件...
笔记|统计学习方法：朴素贝叶斯
CODE_WangZIli的博客
02-09 150
联合概率 朴素贝叶斯是生成模型，由训练数据学习联合分布概率P(X,Y)P(X,Y)P(X,Y),求得后验概率为:P(Y∣X)P(Y|X)P(Y∣X)。联合概率分布为： P(X,Y)=P(Y)P(X∣Y) P(X,Y)=P(Y)P(X|Y) P(X,Y)=P(Y)P(X∣Y) 概率估计方法是极大似然法，或者贝叶斯估计。 基本假设：条件独立性 P(X=x∣Y=ck)=P(X(1)=x(1),⋅⋅⋅,X(n)=x(n)∣Y=ck)=∏j=1nP(X(j)=x(j)∣Y=ck) P(X=x|Y=c_..
统计学习方法-机器学习-第四章：朴素贝叶斯法
07-25
统计学习方法-机器学习-第四章：朴素贝叶斯法
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第4章 朴素贝叶斯法
weixin_42046845的博客
01-25 1515
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第4章 朴素贝叶斯法
李航 统计学习方法 第四章 朴素贝叶斯
manong_dashen的博客
05-17 391
李航 统计学习方法 第四章 朴素贝叶斯 基于贝叶斯定理和特征条件独立假设的分类方法.对于给定的训练数据集, 首先基于特征条件独立假设学习输入/输出的联合分布; 然后基于此模型, 对给定的输入x, 利用贝叶斯定理求出后验概率最大的输出y. 介绍朴素贝叶斯法, 包括朴素贝叶斯的学习和分类, 朴素贝叶斯法的参数估计算法. 基本方法 输入空间是n维向量的集合, 输出空间为类标记集合Y=c1,c2,...,cK\mathcal{Y}={c_1, c_2,..., c_K}Y=c1​,c2​,...,cK​, 输入为特
李航《统计学习方法》-----朴素贝叶斯
zcg1942的博客
07-25 2417
朴素贝叶斯法naïve Bayes，在naïve的中间字母上其实有两个点，查了一下才发现是法语中的分音符，在发音过程中发挥作用。但这不是重要的，重要的是在这种学习方法中贝叶斯承担了什么样的角色。 首先简单证明一下贝叶斯公式。联合概率Joint probabilities是可逆的，只要同时满足两个条件就可以，无所谓先满足哪个条件，所以可以有两种写法，都是利用了条件概率Conditionalpr...
统计学习方法-朴素贝叶斯法
qq_42794545的博客
10-19 609
朴素贝叶斯（naive Byes）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立于假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大输出y。朴素贝叶斯方法实现很很简单，学习与预测效率都很高，是一种常用的方法。 朴素贝叶斯法的学习与分类 基本方法： 后验证概率最大化含义 朴素贝叶斯法将实例分到后验概率最大的类中，这等价于期望风险最小化。为了使得风险最小化对X = x逐个及小化，根据期望风险最小化准则就..
统计学习方法——朴素贝叶斯
刘炫320的博客
04-13 2390
0.写在前面朴素贝叶斯实际上是非常简单的一种机器学习方法，我们在之前的很多地方都讲过了，所以这里我们不再阐述具体的原理，可以移步：朴素贝叶斯。 但是，对于讨论班里，争论最多的就是课后的2个习题，因此，我们重点放在这两个习题上。他们分别是： 4.1 用极大似然估计法推出朴素贝叶斯法中的概率估计公式（4.8）及公式（4.9）。 4.2 用贝叶斯估计法推出朴素贝叶斯法中的概率估计公式（4.10
贝叶斯方法的思想基础
一只小菜鸟的博客
11-29 4022
进军概率深度学习的第一步，首先要弄清楚什么是贝叶斯深度学习。 而贝叶斯深度学习的基础是要搞明白贝叶斯的思想到底是个什么思想。 首先给出老生常谈的贝叶斯公式： 各种生动形象的例子就不自己想了，这里引用知乎一个高赞回答： 贝叶斯的想法很奇特，他想“反过来”推断概率。什么意思？就是“正常”的概率问题一般是这样的：已知一枚硬币每次扔出正面的概率是50%，求该硬币连扔10次，全部都是正面的概率是多少？这...
《统计学习方法》笔记——朴素贝叶斯算法
zhongxiayimeng的博客
06-05 1111
朴素贝叶斯算法概述朴素贝叶斯（naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。算法流程1.朴素贝叶斯法是典型的生成学习方法，生成方法由训练数据学习联合概率分布P(X,Y),然后求得后验概率分布P(Y|X)。即，利用训练数据学习P
李航统计学习方法之朴素贝叶斯法（含python及tensorflow实现）
不负如来不负卿
10-03 4106
朴素贝叶斯法 朴素贝叶斯法数学表达式 后验概率最大化的含义 朴素贝叶斯法数学表达式        
统计学习方法-第一章统计学习方法概论
下一站十字路口
02-27 361
  1. 统计学习的方法是基于数据构建统计模型从而对数据进行预测与分析。统计学习由监督学习，非监督学习，半监督学习和强化学习等组成。 2. 输入变量和输出变量都是连续变量，称为回归问题；输出变量为有限个离散变量的预测问题为分类问题； 输入变量和输出变量均为变量序列的预测问题称为标注问题。 3. 统计学习常用的损失函数 0-1损失函数，平方损失函数，绝对损失函数，对数损失函数； 大数定律：...
统计学习方法-第七章支持向量机
下一站十字路口
03-17 326
Q: 为什么要把原问题转换为对偶问题？ A：因为原问题是凸二次规划问题，转换为对偶问题更加高效。 并且可以引入核函数 Q: 为什么求解对偶问题更加高效？ A：因为只用求解alpha系数，而alpha系数只有支持向量才非0，其他全部为0. Q：alpha系数有多少个？ A：样本点的个数 Q： SVM怎么防止过拟合？ A：引入松弛变量 Q：LR和SVM有什么不同吗？ A： （...
统计学习方法-第三章K近邻
下一站十字路口
02-28 303
k近邻的三要素：距离度量，k值的选择，分类决策规则 距离的度量：欧式距离，曼哈顿距离，无穷范式 K值的选取：k值得选择会对k近邻的结果产生重大的影响 如果选择较小的K值，就相当于用较小的邻域中的训练实例进行预测，“学习”的近似误差会减小，只有输入实例较近的训练实例才会对预测结果起作用。但缺点是“学习”的估计误差会增大，预测结果会对近邻实例点非常敏感。如果邻近的实例点恰巧是噪声，预测就会出错。...
机器学习 --- 朴素贝叶斯分类器第3关：朴素贝叶斯分类算法流程
最新发布
04-02
### 朴素贝叶斯分类器算法流程 朴素贝叶斯分类器的核心在于利用贝叶斯定理计算后验概率，并假设特征之间相互独立。以下是该算法的主要流程： #### 数据准备阶段 1. 收集并整理训练数据集合，确保每条记录都带有明确的类别标签[^1]。 2. 对于连续型变量，通常会将其离散化处理以便后续的概率估计更加简便。 #### 训练模型阶段 3. 针对每一个可能的目标类别 \( C_k \)，统计训练集中属于此类别的样本数量占总样本数的比例，得到先验概率 \( P(C_k) \)。 4. 统计每个属性值条件下各个目标类别的联合分布情况，从而估算条件概率 \( P(x_i|C_k) \) 。这里可以采用极大似然估计法或其他平滑技术来完成这一过程[^3]。 #### 测试预测阶段 5. 当接收到一个新的测试样例时，分别依据上述所学得的知识去评估它归属于不同类别的可能性大小——即求解各 \( P(C_k|x_1,x_2,...,x_n)=P(C_k)\prod_{i=1}^{n}{P(x_i|C_k)}\) 的数值[^5]。 6. 找出使得上式取得最大值得那个特定类别标记作为最终判定结果。 为了提升效率，在某些应用场景下还可以预先计算好所有必要的概率项并将它们保存下来形成所谓的“查找表”，如此一来当面临实时在线请求的时候便可以直接查询而无需重复运算整个推导链条了[^4]。 ```python from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.naive_bayes import GaussianNB # 加载鸢尾花数据集 data = load_iris() X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.5, random_state=0) gnb = GaussianNB() # 使用训练数据拟合高斯朴素贝叶斯模型 y_pred = gnb.fit(X_train, y_train).predict(X_test) print(f"Number of mislabeled points out of a total {X_test.shape[0]} points : {(y_test != y_pred).sum()}") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值