（一）朴素贝叶斯学习（2）- binary feature

最新推荐文章于 2025-03-22 21:35:08 发布
最新推荐文章于 2025-03-22 21:35:08 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： Machine Learning 文章标签： machine learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/MyProgramingLife/article/details/41685737
版权
本文介绍了朴素贝叶斯学习中的二值特征处理，包括最大似然估计、数值溢出问题的解决、特征选择以及最大后验概率（MAP）估计。在MAP估计中，通过贝叶斯公式结合先验知识改进估计结果，并以美国总统选举的统计为例进行解释。此外，讨论了在非二值特征和多类问题中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

（一）公式理解- 最大似然

假设各个数据 X1, X2, .... Xn 为iiD,  且其 PDF 为 , 

所以似然函数的定义为：

极大似然估计即 使得最大的那个

下面是似然的一些实例， 自己推导下，让思路后续更清晰（课用PPT, 后续可下载）







（二）公式理解-朴素贝叶斯


（三） 算法实现 


（四）c++ 代码实现

因为是二值的特征，因此实现起来比较容易， 主

最低0.47元/天 解锁文章
AI学习指南机器学习篇-朴素贝叶斯模型评估
俞兆鹏的博客
06-24 1237
朴素贝叶斯模型是基于贝叶斯理论和特征条件独立假设的分类算法。它被广泛应用于文本分类、垃圾邮件过滤、情感分析等领域。朴素贝叶斯模型通过计算每个特征在每个类别下的条件概率来进行分类，然后选择具有最高后验概率的类别作为预测结果。在评估朴素贝叶斯模型的性能时，我们通常会使用准确率、召回率、F1分数等指标。这些指标能够帮助我们全面地评估模型的性能，从多个角度了解模型在不同情况下的表现。
BRIEF Binary Robust Independent Elementary Features
11-28
这是图像特征提取的重要论文。关于描述子生成。还有FAST特征点以及ORB特征点提取的文章。
机器学习与数据挖掘--朴素贝叶斯
Time Will Tell
03-23 402
前期知识 先验概率与后验概率 由以往的数据分析得到的概率，叫做先验概率（经验） 在得到信息之后加以重新修正的概率叫做后验概率 后验概率属于条件概率的一种 朴素贝叶斯 朴素贝叶斯是贝叶斯分类里面最简单的一种 为什么叫朴素贝叶斯，朴素在哪里？ 假设所有的特征之间是统计独立的 朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设来学习输入输出的联合概率分...
DBoW2分析整理（理论部分）
坚果
04-16 1513
DBoW2分析整理（理论部分）1. 简介2. 二值特征（binary feature）3. 建立Vocabulary tree/图像数据的建立4. 利用Vocabulary tree计算图像相似度4.1 TF-IDF4.2 在线更新字典树4.3 计算图像的相似度5 闭环检测算法/数据库查询A. Database的访问6 参...
人脸对齐之LBF(Local Binary Features)
年轻即出发，
12-11 1万+
基于LBF方法的人脸对齐，出自Face Alignment at3000 FPS via Regressing Local Binary Features，由于该方法提取的是局部二值特征（LBF），所以特征提取这个过程速度非常快，导致整个的算法都速快相当快，论文作者的LBF fast达到了3000fps的速度，网上热心网友分享的程序也达到了近300fps的速度，绝对是人脸对齐方面速度最快的一种算法...
【漫话机器学习系列】111.指数之和的对数（Log-Sum-Exp）
IT古董
03-01 977
在计算机科学和机器学习中，经常会遇到计算指数和的对数的情况，由于指数函数 的值增长极快，直接计算可能会导致数值上溢（overflow）或下溢（underflow），影响计算的准确性。为了避免这些问题，我们可以使用 Log-Sum-Exp (LSE) 技巧，本篇文章将详细介绍该技巧的原理、推导过程以及实际应用。
sklearn中的朴素贝叶斯
momokofly的博客
02-04 4752
15、AI工程日志：朴素贝叶斯之文本分类与TF-IDF加权【附核心代码】
最新发布
轻口味的专栏
03-22 873
朴素贝叶斯作为一种简单高效的文本分类算法，在垃圾邮件识别等自然语言处理任务中展现出了良好的性能和实用性。通过合理选择多项式模型或伯努利模型，并结合TF-IDF加权和停用词处理等预处理步骤，可以进一步提升模型的分类效果和泛化能力。然而，朴素贝叶斯也存在一些局限性。例如，其特征条件独立假设在实际中往往不成立，可能导致概率估计的不准确；对于文本数据中的词汇依赖关系和语义信息无法有效捕捉。
python朴素贝叶斯调参_中文新闻分类，逻辑回归大战朴素贝叶斯
weixin_39979948的博客
12-13 1671
1 问题背景我们有一堆新闻文本数据，包含“新闻类别”、“新闻内容”两列，希望建立一个模型，来预测新闻内容属于哪个类别。这是一个文本分类问题，朴素贝叶斯和逻辑回归可以说是文本分类最常用的Baseline模型，今天小树带大家来看看，朴素贝叶斯和逻辑回归效果如何以及它们两个究竟谁更厉害。操作环境：jupyter notebook + python3预备知识：中文分词、tf-idf、朴素贝叶斯模型、逻辑回...
一文弄懂LogSumExp技巧
热门推荐
日积月累，天道酬勤
12-11 1万+
什么是LogSumExp？
logsumexp实现
08-14
在使用EM算法训练GMM过程中，使用到的logsumexp函数，顾名思义，是计算log（sum（exp（X）））的函数。
pytorch中logsumexp函数的用法
说文科技，做有态度的研究。
03-25 1万+
pytorch中的logsumexp的使用
朴素贝叶斯法---朴素贝叶斯法的学习与分类
weixin_34021089的博客
11-23 156
为什么80%的码农都做不了架构师？>>> ...
二进制特征的相似性和非相似性度量(the Similarity Measure and Dissimilarity Measure for Binary Features)
李宏宗的博客
09-15 1329
假设我们使用两个二进制下标来计算两个对象的特征。n00n_{00}n00​和n11n_{11}n11​分别代表两个对象特征同时不存在和存在，n01n_{01}n01​和n10n_{10}n10​代表对象特征只存在在一个对象。对于两个数据点xix_{i}xi​和xjx_{j}xj​两种常见类型的相似性度量如下 Sij=n11+n00n11+n00+w(n10+n01) S_{ij}=\frac{n_{11}+n_{00}}{n_{11}+n_{00}+w(n_{10}+n_{01})} Sij​=n11​+n
机器学习中如何表示 feature vector ？
u011530519的专栏
07-03 2862
假设给定一个（0，1）矩阵，让你根据这些（0，1）值，来找出这组数据的结构规律，然后根据这些规律来预测。假设这个矩阵大小是10行10列的。那么在建立机器模型的时候，它的 training set 是否是 （1，1），（1，2），（1，3），（1，4），。。。。。。 （10，8），（10，9），（10，10）这样的有序数列对呢？其相应的 label 就是该矩阵中对应的 0， 1 值？如果这个是正
机器学习 - 计算 Log-Sum-Exp
mjiansun的专栏
08-22 6925
计算 Log-Sum-Exp [原文-Computing Log-Sum-Exp] 本文的计算技巧是有效的，但在机器学习课程上没有明确提到. 这样保证了取指数时的最大值为0. 这种技巧使得绝对不会出现上溢(overflow)，即使其余的下溢(underflow)，也可以得到一个合理的值.  ...
[机器学习]集成学习简单投票法概率
You and Me
12-10 8158
基于周志华的西瓜书(p.172)解释集成学习简单投票法概率。并参考知乎董豪晨的回答 对于二分类问题y=[−1,1]y=[-1,1]，假设错误率为qq，且真实集函数表达为f(x)f(x)
【模型转换tips】torch.logsumexp
加盐
06-07 3563
torch.logsumexp的计算就是字面意思 但是自己实现的话发现单exp这一步输出就会出现溢出变成inf，就是无穷大 发现函数里头的小技巧是进行了平移： 参考： 机器学习 - 计算 Log-Sum-Exp 8. log_sum_exp的trick ...
python logsumexp示例
jacke121的专栏
02-18 2791
pytorch 和python代码： import numpy as np import torch as t te = t.tensor([[-1.0000e+12, -1.0000e+02, 0.0000e+00], [-2.0000e+00, -1.0000e+12, 0.0000e+00]]) print(te) # [2,3] logumsexp0= t.logsumexp(te,dim=0) # 两行之间列分别计算log (sum(...)) 值 ...
python伯努利朴素贝叶斯
10-17
Python中的伯努利朴素贝叶斯是一种基于二元特征的朴素贝叶斯分类器。它假设所有特征都是二元的，即每个特征要么出现要么不出现。在伯努利朴素贝叶斯中，每个特征的权重都是相等的，因此该算法适用于文本分类等二元...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值