机器学习笔记 - 贝叶斯决策论

理解贝叶斯决策论：从贝叶斯定理到分类
最新推荐文章于 2025-09-27 06:39:14 发布
原创 最新推荐文章于 2025-09-27 06:39:14 发布 · 2.1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

这篇博客介绍了贝叶斯定理及其在机器学习中的应用——贝叶斯决策论。内容包括条件概率、全概率公式、贝叶斯公式，并阐述了如何基于后验概率和误判损失来进行样本分类。

贝叶斯定理

条件概率

条件概率是指两个事件 A 和 B , A 已经发生的条件下, B 发生的概率, 记为 P(B|A) , 显然:

P(B|A)=P(AB)P(A)

P(AB) 是指 A 和 B 同时发生的概率.

全概率公式

设样本空间为 S , A为 E 的事件, { B1,B2,...,Bn} 为 S 的一个划分, 且 P(B

最低0.47元/天 解锁文章
周志华机器学习西瓜书 第七章 贝叶斯分类器-学习笔记(超详细)
Sodas的博客
02-26 1168
缺点也是显然的：如果数据量较大，拉普拉斯修正可能会引入过多的平滑，导致概率估计不够准确、对于某些特定问题，可能需要调整平滑参数（如加的常数不一定是1）、而且拉普拉斯修正实际上是假定了属性与类别的均匀分布，这是额外引入的偏差，因为本身可能本身不是均匀的，所以这个要注意，实际问题是否是均匀的，若是不均匀可以调整所加的常数，调整偏差。是主观的，只是随着新证据的发现去不断的更新对概率的"信念值"。"，即频率 主义认为概率是"事件"，在大量重复性实验中所发生的频率，就会逼近真实的概率，涉及到极限的概念，是客观的。
机器学习之贝叶斯（贝叶斯定理、贝叶斯网络、朴素贝叶斯）
weixin_42180810的博客
07-30 6344
一、概率知识点复习 （1）条件概率 就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在B条件下A的概率”。 （2）联合概率 可以简单的理解为事件A与事件B都发生的概率，记为P(AB)或P(A, B)。 此处就有  P(A, B) = P(A|B) * P(B) 若事件A与事件B独立，则有 P(A, B) = P(A) * P(B)，这也说明了此时 ...
机器学习：贝叶斯决策论
shaomingshan的博客
04-29 1306
模式分类课后题 2.5节 第2题 根据表格中的样本进行分类，样本服从正态分布 a． 假设前面两个类别的先验概率相等P(w1)=P(w2)=1/2，且P(w3)=0；仅利用x特征值为这两类判别设计一个分类器 b．确定样本的经验训练误差，即误分点的百分比 c．利用Bhattacharyya界定对该分布所产生的新模式进行分类会产生的误差 d．现在利用两个特征值x1和x2，重复以上各步骤 e．利用所有3个特征值重复以上各步 f．讨论所得的结论，特别是对于一个有限的数据集，是否可能在更高的数据维数下经验误差会增加。
机器学习 -- 贝叶斯决策理论
北堂飘霜_记录
01-09 773
我听不懂，不妨以一个高数题入局。当我还是个大学生的时候，觉得高数没什么用，现在觉得自己当时太年轻了。
深度解析——机器学习“照妖镜”：交叉验证如何让模型现出原形？
最新发布
随机指定的博客
09-27 1227
交叉验证（Cross-Validation）是一种重要的模型评估方法。在机器学习中，我们通常将数据集分为训练集和测试集。训练集用于训练模型，而测试集则用于评估模型在未知数据上的泛化能力。然而，如果我们只使用一次固定的训练集和测试集划分，评估结果可能会因为数据划分的偶然性而产生偏差。例如，如果测试集中的样本恰好比较简单，模型的性能可能被高估；反之，如果测试集比较难，模型的性能可能被低估。
机器学习之贝叶斯定理
u013206066的博客
01-12 2259
贝叶斯定理可谓是机器学习算法中最重要的一个定理。这个算法并不高深，但是却十分有用。
机器学习: 贝叶斯决策 1
weixin_30421525的博客
03-27 235
Bayes rules 在介绍Bayes决策论之前，我们先介绍有关概率的两个基本准则：求和准则与相乘准则。 给定两个随机变量X,Y,假设X可以为任意值xi,其中i=1,2,...M, 同样的,Y可以取的值为yj,其中j=1,2,...L,假设我们对这两个随机变量的所有可能的值进行采样,一共做了N次采样，我们假设这N次采样中，X=xi, Y=yj的样本出现的个数...
机器学习（贝叶斯决策定理）
）梦想之深邃（
03-14 756
概率刻度：为0-1之间的一个实数，表示一次随机事件中事件发生可能性的大小。（概率≥0，非负） 可观测变量：在实验过程中可以观察到的变量；（如投一枚硬币出现正面、反面的情况） 在通常情况下，我们是不知道一个未知事件的确切概率的，但在大量实验的基础上我们可以用观测变量的概率分布 来间接地表达事件总体的概率分布。 如：投一枚硬币1为正面0为反面，9次实验结果为{1,1,1,0,1,0,0,1,1...
机器学习笔记--机器学习基本概念（全面总结，通俗易懂）
qq_44815135的博客
01-22 8165
 什么是机器学习？本文主要介绍了机器学习中的常见概念，包括监督学习和无监督学习、半监督学习、弱监督学习、强化学习、欠拟合和过拟合、损失和优化的概念以及常用的激活函数等。
机器学习学习笔记-英文版
07-25
【机器学习学习笔记-英文版】是一份详细阐述机器学习概念和算法的资料，由Jim Liang创作。本文档旨在帮助读者理解机器学习的基础、常用算法以及一些扩展话题。以下是笔记的主要内容： **Part 1: 基本概念** 1. **...
人工智能学习笔记-机器学习、人工智能、各类框架
10-12
人工智能学习笔记包含多个重要领域，其中机器学习作为人工智能的一个核心分支，在推动智能技术发展上扮演着举足轻重的角色。机器学习通过让机器从数据中学习并做出决策或预测，从而实现无需显式编程即可提高任务执行...
机器学习系列文章：贝叶斯决策理论
人工智能讲师团
09-22 1376
引言   训练计算机使之根据数据进行推断是统计学和计算机科学的交叉领域，其中统计学家提供有数据做推断的数学框架，而计算机科学家研究推断方法如果在计算机上有效地实现。    数据来自于一个不完全清楚的过程，将该过程作为随机过程建模表明我们缺乏知识。也许该过程实际上是确定性的，但是因为我们没有获取关于它的完全知识的途径，所以我们把它作为一个随机过程建模，并且用概率理论来分析它。   有时候，我们...
贝叶斯决策理论机器学习数据挖掘
06-29
贝叶斯分类器 正态分布决策理论 关于分类的错误率分析 最小风险Bayes分类器 Bayes分类器算法和例题 聂曼－皮尔逊判别准则 最大最小判别准则 决策树 序贯分类
机器学习---贝叶斯分类与决策树
m0_68480052的博客
02-26 2017
自动化参数调优利器，注意控制搜索空间避免计算爆炸朴素贝叶斯：适合文本分类等高维数据，注意特征独立性假设的局限性决策树信息增益偏向多值属性，基尼指数计算效率更高通过max_depth控制模型复杂度防止过拟合可视化帮助理解模型决策过程通过合理使用这些工具，可以快速构建可解释性强的分类模型，适用于各种结构化数据的分类任务。实际应用中建议：优先使用基尼指数构建决策树对文本数据优先尝试朴素贝叶斯重要模型务必进行参数调优算法核心思想关键步骤/假设优缺点决策树树形规则划分数据。
贝叶斯决策与机器学习：一种强大的结合方法
AI天才研究院
01-09 1389
1.背景介绍 贝叶斯决策与机器学习：一种强大的结合方法 机器学习是人工智能领域的一个重要分支，它涉及到从数据中学习模式，并利用这些模式进行预测和决策。贝叶斯决策是一种经典的机器学习方法，它基于贝叶斯定理来进行决策。在本文中，我们将讨论贝叶斯决策与机器学习的结合方法，以及它们之间的联系和应用。 贝叶斯决策是一种基于概率的决策理论，它使用贝叶斯定理来更新先验概率为后验概率。贝叶斯定理是一种将先验...
贝叶斯决策理论
热门推荐
Rainbow0210的博客
10-21 1万+
贝叶斯决策理论对于模式识别的方法，大体可以分为基于知识和基于数据的两类。所谓基于知识的方法，主要以专家系统为代表，一般归于人工智能的范畴；而基于数据的方法，则可归于基于数据的机器学习。基于数据的方法，基础是统计模式识别，即依据统计的原理来建立分类器。 说到统计，则不得不谈到概率，这里罗列一些概率论的机器学习中的基本概念，百度都可以查到，不再赘述： 样本、样本集、类（类别）、特征、已知样本
机器学习——贝叶斯分类器
A11451455的博客
08-08 1038
机器学习——贝叶斯分类器学习记录
机器学习之一——贝叶斯决策论
aibucai的专栏
11-19 701
•贝叶斯决策论就是我们基于常识的判决过程的一种形式化而已 ——  判决依据取决于概率大小 •生活中的例子随处可见——例如，我们听见传来一个低沉浑厚的声音，记作x,我们下意识地就会把这个声源判定为男人(w男)，因为我们知道，低沉浑厚的声音普遍就是男性声音，也就是一个低沉浑厚的声音是一个男性声音的概率p(w男|x)比较大，此时，判决为男性，我们的误差概率最小！                
山东大学 机器学习 贝叶斯实验
不服输的苏大叔的博客
01-17 1781
实验一：“贝叶斯分类器的设计”实验说明 Part 1．仿真实验 随机产生10000组正样本和20000负样本高斯分布的数据集合（维数设为二维），要求正样本：均值为[1;3]，方差为[20;02]；负样本：均值为[10;20]，方差为[100;010]。先验概率按样本量设定为1/3和2/3.分别利用最小错误概率贝叶斯分类器和最小风险概率贝叶斯分类器对其分类。（假设风险程度正样本分错风险系...
吴恩达机器学习课程笔记-深度解析回归与模型选择
"吴恩达机器学习课程笔记包含了作者在2011年学习斯坦福大学CS229机器学习课程的个人笔记，主要基于Andrew Ng教授的讲义和视频。笔记涵盖了广泛的机器学习主题，如线性回归、逻辑回归、支持向量机(SVM)、规则化和模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值