朴素贝叶斯改进方案简述

最新推荐文章于 2025-04-20 19:59:44 发布
原创 最新推荐文章于 2025-04-20 19:59:44 发布 · 7k 阅读 · 33 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法

目前朴素贝叶斯的改进主要有以下四个方面：

一.结构扩展（主要方向为探索属性间的关联关系）

    朴素贝叶斯的星型结构：

    如图1.1所示，我们有类别C，有A,B,C三个属性能决定C的类别，并且ABC都互相独立：

    

                                                            图1.1 星型结构

    树型结构：

    Friedman在1997年提出的TAN算法，将原算法的星型结构演变成更高的树型依赖结构。目的是解决属性变量之间存在的依赖关系。2004年石洪波提出的利用条件互信息选择若干TAN进行组合，提高TAN算法。树形结构如下图1.2。

    

                            &nbs

最低0.47元/天 解锁文章
朴素贝叶斯分类算法：算法改进与扩展
AI天才研究院
09-28 1134
朴素贝叶斯分类算法：算法改进与扩展 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 朴素贝叶斯分类算法是一种基于贝叶斯定理与最
头歌 朴素贝叶斯简述 第1关：朴素贝叶斯概论
MJ985464的博客
11-22 1720
头歌 机器学习 朴素贝叶斯
朴素贝叶斯改进及其应用
李鑫o_O
03-10 4722
1、贝叶斯定理 设是类标号未知的数据样本，为某种假设，数据样本 属于某特定的类 C ，对于该分类问题，期望确定，即给定观测数据样本，假定成立的概率，称为后验概率，或称条件下的后验概率。分类就是要确定。 例如，假定数据样本集由顾客组成，用他们的年龄和收入情况进行分类。假定表示顾客的年龄在31岁到40之间并且中等收入，表示顾客将购买电脑，则反映的是观察到顾客的年龄在31岁到40之间并且中等收入时，
机器学习实战--基于概率论的分类方法：朴素贝叶斯（改进）
aaaaPIKACHU的博客
02-17 1160
上一篇文章中算法存在问题，需要作出修改，修改部分有以下两点： 拉普拉斯平滑，避免概率为0 取自然对数，避免下溢出 1.拉普拉斯平滑 利用贝叶斯分类器对文档进行分类时，要计算多个概率的乘积以获得文档属于某个类别的概率，即计算p(w0|1)p(w1|1)p(w2|1)。如果其中有一个概率值为0，那么最后的成绩也为0。显然，这样是不合理的，为了降低这种影响，可以将所有词的出现数初始化为1，并将分母初始化为2。这种做法就叫做拉普拉斯平滑(Laplace Smoothing)又被称为加1平滑，是比较常用的平滑
朴素贝叶斯分类算法的改进及应用
11-24
针对朴素贝叶斯分类算法中缺失数据填补问题，提出一种基于改进EM（Expectation Maximization）算法的朴素贝叶斯分 类算法。实验结果表明，改进算法具有较高的分类准确度。并将改进的算法应 用于高校教师岗位等级的评定
Step by Step 改进朴素贝叶斯算法
ehomeshasha的专栏
06-30 8209
论文出处: http://www.aaai.org/Papers/ICML/2003/ICML03-081.pdf y
【机器学习系列】之朴素贝叶斯和半朴素贝叶斯
qq_41995574的博客
05-23 2506
作者：張張張張 github地址：https://github.com/zhanghekai 【转载请注明出处，谢谢！】 文章目录一、朴素贝叶斯概述二、朴素贝叶斯分类器1. 朴素贝叶斯分类器表达式2. 极大似然估计3. 例题4. 拉普拉斯修正及例题三、朴素贝叶斯算法小结 一、朴素贝叶斯概述     \quad\;\;贝叶斯分类是一类分类算法的...
朴素贝叶斯算法
m0_75013835的博客
05-13 2331
实现简单，计算效率高。在一些问题上表现出色，如文本分类和垃圾邮件过滤。对缺失数据和异常数据不敏感。特征独立性假设在现实中往往不成立，这会影响分类的准确性。在处理不平衡数据集时可能表现不佳。需要对特征进行适当的选择和预处理，以提高分类性能结论朴素贝叶斯分类器是一种简单而有效的分类方法，在文本分类等领域有着广泛的应用。通过利用贝叶斯定理和特征条件独立假设，我们可以快速计算给定特征集下每个类别的后验概率，并选择后验概率最大的类别作为预测结果。
统计学习方法---朴素贝叶斯
2403_88150975的博客
04-20 975
P(y)：通过计算每个类别在训练数据中的频率来估计。它反映了在没有任何特征信息的情况下，样本属于某一类别的可能性。
基于特征相关的改进加权朴素贝叶斯分类算法 (2012年)
05-31
朴素贝叶斯分类算法的特征项间强独立性的假设在现实中是很难满足的．为了在一定程度上放松这一假设，提出了基于特征相关的改进加权朴素贝叶斯分类算法，该算法采用一种新的权重计算方法，这种权重计算方法是在传统词频一反文档频率(TF-IDF)权重计算基础上，考虑到特征项在类内和类间的分布情况，另外还结合特征项间的相关度，调整权重计算值，加大最能代表所属类的特征项的权重，将它称之为TF-IDF-FC权重计算．与基于传统TF-IDF权重的加权朴素贝叶斯分类算法和其他常用加权朴素贝叶斯分类算法比较，如基于属性加权的朴素贝叶
贝叶斯方法及改进算法
码农之道
07-02 4105
下面介绍理论基础：应用最广泛的文本分类的学习算法是在信息检索中发展起来的计算相似度的方法，在文本分类中是通过对训练集学习，构成类别向量 Cj，然后以向量的内积计算待分类向量 d’与类别向量距离， 对每一类都由一个特征向量 Cj，由带类别标记训练集的得到的。用这些向量对待分文本 d’分类，待分文本也表示成向量 d’，然后分别计算与各类特征向量的余弦，d’将属于余弦值最大的类别。见公式     
机器学习初探之朴素贝叶斯优化
Robert_Gordon的博客
03-10 1792
一、前言   在上篇文章中，讲解了朴素贝叶斯的基础知识。本篇文章将在此基础上进行扩展： 二、拉普拉斯平滑   上篇文章提到过，算法存在一定的问题，需要进行改进。那么需要改进的地方在哪里呢？利用贝叶斯分类器对文档进行分类时，要计算多个概率的乘积以获得文档属于某个类别的概率，即计算p(w0|1)p(w1|1)p(w2|1)。如果其中有一个概率值为0，那么最后的成绩也为0。我们拿出上一篇文章的截图。 ...
机器学习—朴素贝叶斯及其优化
Chun_0521的博客
07-15 3073
本文转载于：别再闹了博客https://www.cnblogs.com/jiading/p/11624387.html 机器学习—朴素贝叶斯 本文代码均来自《机器学习实战》 朴素贝叶斯的两个基本假设： 独立：一个特征出现的可能性和与它和其他特征相邻没有关系 每个特征同等重要 这段代码是以文本分类为例介绍朴素贝叶斯算法的 要从文本中获取特征，需要先拆分文本。这里的特征是来自文本的词条（token），一个词条是字符的任意组合。可以把词条想象为单词，也可以使用非单词词条，如URL、IP地址或者任意其
机器学习之朴素贝叶斯三、拉普拉斯平滑技术、优化改进情感分析
争渡的博客
05-10 2万+
拉普拉斯平滑。
超参数优---贝叶斯优化及其改进（PBT优化）
热门推荐
xys430381_1的专栏
01-08 3万+
贝叶斯优化 参考文献： 自动机器学习超参数调整（贝叶斯优化）—介绍了例子 贝叶斯优化(Bayesian Optimization)深入理解 贝叶斯优化(BayesianOptimization) 简介 所谓优化，实际上就是一个求极值的过程，数据科学的很多时候就是求极值的问题。那么怎么求极值呢？很显然，很容易想到求导数，这是一个好方法，但是求导即基于梯度的优化的条件是函数形式已知才能求出导数，并且函...
各种分类算法比较
流年染指，回忆春秋 的博客
04-11 2851
各种分类算法比较 最近在处理数据的时候，使用分类算法，为使用合适的分类算法，对各分类算法仔细研究了一番，而且在网上了这篇博文，对分类算法的优缺点比较简单明了，推荐学习一下。 1. 决策树（Decision Trees）的优缺点 决策树的优点： 一、决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达的意义。 二、对于决策树，数据的准备往往是简单或者是不
机器学习笔记5——朴素贝叶斯算法
OnePisces博客专栏
04-22 1105
针对文本分类的事件模型 支持向量机的部分前期知识
朴素贝叶斯扩展
aids1990的博客
07-16 296
多项式贝叶斯 文本分类 当新来一个文本时，我要对每一个类别y都计算一个向量θy= （θy1，…，θyn） 其中，n表示词汇表中词的种类数，即特征空间的维度 θyi：这个样本如果属于类别 y时，特征 i出现的概率P(xi| y)，即条件概率 分子：这个新文本中特征 i在类别 y下出现的次数 分母：对分子求和 •在机器学习中，朴素贝叶斯分类器是一系列以假设特征之间强独立（朴素）下...
简述朴素贝叶斯算法计算过程
最新发布
12-19
朴素贝叶斯（Naive Bayes）是基于概率论的分类算法，属于生成式模型，经典应用案例包括文本分类、垃圾邮件过滤等[^2]。其计算过程主要依赖贝叶斯公式，以下简述： 1. **确定特征和类别**：明确数据集中的特征变量（如文本中的单词、西瓜的属性等）和要分类的类别。例如在文本分类中，特征是各个单词，类别可以是“正常邮件”和“垃圾邮件”。 2. **计算先验概率**：先验概率是指在没有考虑任何特征信息时，每个类别出现的概率。假设类别集合为 \(C = \{c_1, c_2, \cdots, c_m\}\)，样本总数为 \(N\)，类别 \(c_i\) 出现的样本数为 \(N_{c_i}\)，则类别 \(c_i\) 的先验概率 \(P(c_i) = \frac{N_{c_i}}{N}\)。 3. **计算条件概率**：条件概率是指在给定某个类别 \(c_i\) 的条件下，每个特征出现的概率。假设特征集合为 \(X = \{x_1, x_2, \cdots, x_n\}\)，在类别 \(c_i\) 中特征 \(x_j\) 出现的样本数为 \(N_{x_j|c_i}\)，类别 \(c_i\) 的样本数为 \(N_{c_i}\)，则在类别 \(c_i\) 下特征 \(x_j\) 的条件概率 \(P(x_j|c_i) = \frac{N_{x_j|c_i}}{N_{c_i}}\)。这里朴素贝叶斯算法有“特征条件独立假设”，即各个特征之间相互独立，所以在类别 \(c_i\) 下所有特征的联合条件概率 \(P(X|c_i) = P(x_1|c_i)P(x_2|c_i)\cdots P(x_n|c_i)\)。 4. **计算后验概率**：根据贝叶斯公式 \(P(c_i|X) = \frac{P(X|c_i)P(c_i)}{P(X)}\) 计算在给定特征 \(X\) 的条件下，每个类别 \(c_i\) 出现的后验概率。其中 \(P(X)\) 是特征 \(X\) 出现的概率，对于所有类别来说 \(P(X)\) 是相同的，在分类时可以不考虑其具体值，只比较 \(P(X|c_i)P(c_i)\) 的大小即可。 5. **进行分类决策**：选择后验概率最大的类别作为样本的分类结果，即 \( \hat{c} = \arg\max_{c_i} P(c_i|X) = \arg\max_{c_i} P(X|c_i)P(c_i) \)。 ### 代码示例 ```python import numpy as np class NaiveBayes: def __init__(self): self.classes = None self.priors = None self.conditional_probs = None def fit(self, X, y): n_samples, n_features = X.shape self.classes = np.unique(y) n_classes = len(self.classes) self.priors = np.zeros(n_classes) self.conditional_probs = [] for i, c in enumerate(self.classes): X_c = X[y == c] self.priors[i] = X_c.shape[0] / float(n_samples) conditional_prob = (np.sum(X_c, axis=0) + 1) / (X_c.shape[0] + n_features) self.conditional_probs.append(conditional_prob) def predict(self, X): posteriors = [] for x in X: posterior = [] for i, c in enumerate(self.classes): prior = np.log(self.priors[i]) conditional_prob = np.sum(np.log(self.conditional_probs[i]) * x) posterior.append(prior + conditional_prob) posteriors.append(self.classes[np.argmax(posterior)]) return np.array(posteriors) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值