数据挖掘从入门到放弃(三):朴素贝叶斯

大数据挖掘——朴素贝叶斯分类 P(X)是X的先验概率 例如,顾客集合中年龄为35岁且收入为4万美元的概率 P(X|H)是后验概率 例如,已知顾客X将计算机,该顾客是年龄为35岁,收入为4万美元的概率。在这个例子中,𝑃(𝐶=−1∣𝑋)大于𝑃(𝐶=1∣𝑋),所以分类器将实例𝑥=(2,𝑆)𝑇分类为类别−1。这些概率是通过将先验概率𝑃(𝐶)与条件概率𝑃(𝑋(1)∣𝐶)和𝑃(𝑋(2)∣𝐶)相乘得到的。在这个特定的问题中,我们不需要计算分母𝑃(𝑋),因为我们只关心比较不同类别的后验概率的大小,而不是它们的绝对值。可以清晰直观的看出两者关系。 阅读详情

回顾上两篇文章,我们讲述了线性回归和逻辑回归和决策树

今天我们来看一下另外一个非常常用的算法:朴素贝叶斯算法

“ 

朴素贝叶斯是一种常用的分类算法,适用于维度非常高的数据集,具有速度快,可调参数少有点,非常适合为分类问题提供快速粗糙的基本方案,经常用于垃圾邮件分类等场景中,相同内容更新:https://blog.youkuaiyun.com/yezonggang。

”

朴素贝叶斯算法

朴素贝叶斯算法依据概率论中贝叶斯定理建立模型,前提假设各个特征之间相互独立(这也是正式“朴素”的含义),这个假设非常极端,因为实际场景中多个特征一般存在相关性,特征相对独立的假设使得算法变得简单,因此在特征值有强相关性的场景中容易出现分类不准的问题。

其数学原理很容易理解:如果你看到一个人总是做好事,则会推断那个人多半会是一个好人。这就是说,当你不能准确判断时候,可以依靠事物特定本质相关的事件出现的多少(概率)作为判断依据,贝叶斯定理:

该公式表示在B发生的条件下A发生的条件概率,等于A事件发生条件下B事件发生的条件概率乘以A事件的概率,再除以B事件发生的概率。公式中,P(A)叫做先验概率,P(A/B)叫做后验概率。

举个栗子:一个非常炎热的夏天晚上,走在校园里面,伸手不见五指.......lol,这个时候迎面走来一个人,太远看不清楚ta的性别,但我们知道ta的特征是“短裤+短发”,而且事先有一些学生的调查样本,需要你根据某些特性大致判断Ta的性别,请问你应该怎么分类?


这样分析,我们首先计算求得P(boy|短裤短发)和P(girl|短裤短发)然后比较两者大小,作为依据判定性别,也就是我们根据以往数据中穿着短裤短发的人中boy和girl的条件概率作为依据,来判断当我们看见“短裤短发”人的性别,在这个例子中我们很明显把ta判定是个boy,核心思想就是这么简单:



拉普拉斯修正

由于特征空间较为稀疏,因此,常常会出现概率为0的情况,在这种情况下,需要对其进行一些修正。常用的修正方法是拉普拉斯修正法,就是使得计算条件概率时候分子+1,很容易理解;

蘑菇数据集

该数据集包含了8124个样本和22个变量(如蘑菇的颜色、形状、光滑度等),是机器学习分类算法算法不可多得的一个优质数据集。

数据探索

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import numpy as np
 
# 修改baseUrl的路径即可完成数据读取修改
baseUrl="C:\\Users\\71781\\Desktop\\2020\\ML-20200422\\bayes\\"
mushrooms=pd.read_csv(baseUrl+"mushrooms.csv")
mushrooms.columns=['class','cap-shape','cap-surface','cap-color','ruises','odor','gill-attachment','gill-spacing','gill-size','gill-color','stalk-shape','stalk-root','stalk-surface-above-ring','stalk-surface-below-ring','stalk-color-above-ring','stalk-color-below-ring','veil-type','veil-color','ring-number','ring-type','spore-print-color','population','habitat']
mushrooms.shape
pd.set_option("display.max_columns",100) #让所有列都能加载出来
mushrooms.head()
# 可以发现,所有特征都是离散的,都属于分类型
# class标识有毒无毒
np.unique(mushrooms['cap-shape'])
fig,(ax1,ax2)=plt.subplots(1,2,figsize=(15,5))
# 探究 形状和颜色对于是否有毒的贡献度,发现形状为b的无毒蘑菇比例大
sns.countplot(x='cap-shape',data=mushrooms,hue='class',ax=ax1)
sns.countplot(x='cap-surface',data=mushrooms,hue='class',ax=ax2)


sns.countplot(x='cap-color',hue='class',data=mushrooms)

# 把有毒无毒换成0/1类型,1标识无毒
mushrooms['class'].replace('e',1,inplace=True)
mushrooms['class'].replace('p',0,inplace=True)
# 计算每个颜色无毒的概率
perc = mushrooms[["cap-color", "class"]].groupby(['cap-color'],as_index=False).mean()
perc
sns.barplot(x='cap-color',y='class',data=perc)


# 使用sklearn进行预处理
from sklearn.preprocessing import LabelEncoder
labelencoder=LabelEncoder()
for col in mushrooms.columns:
    mushrooms[col] = labelencoder.fit_transform(mushrooms[col])
 
mushrooms.head()
sns.countplot(x='cap-shape',data=mushrooms,hue='class',)


建立模型

X=mushrooms.drop('class',axis=1) #Predictors
y=mushrooms['class'] #Response
#X.head()
 
#这里采用用哑变量编码,为的是后面能更好的计算特征的各属性的重要性,并且避免数值变量分类时偏向于数值大的属性
X=pd.get_dummies(X,columns=X.columns,drop_first=True)
X.head()
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=1234)
# 贝叶斯
from sklearn.naive_bayes import GaussianNB
from sklearn import metrics 
model2 = GaussianNB()
model2.fit(X_train, y_train)
prediction2 = model2.predict(X_test)
print('The accuracy of the Decision Tree is: {0}'.format(metrics.accuracy_score(prediction2,y_test)))

文末福利

各位猿们,还在为记不住API发愁吗,哈哈哈,最近发现了国外大师整理了一份Python代码速查表和Pycharm快捷键sheet,火爆国外,这里分享给大家。

这个是一份Python代码速查表

下面的宝藏图片是2张(windows && Mac)高清的PyCharm快捷键一览图

怎样获取呢?可以添加我们的AI派团队的程序媛姐姐

一定要备注【高清图】哦

????????????????????

➕我们的程序媛小姐姐微信要记得备注【高清图】哦

来都来了,喜欢的话就请分享、点赞、在看三连再走吧~~~

数据挖掘算法之深入朴素贝叶斯分类 写在前面的话:   我现在大四,毕业设计是做一个基于大数据的用户画像研究分析。所以开始学习数据挖掘的相关技术。这是我学习的一个新技术领域,学习难度比我以往学过的所有技术都难。虽然现在在一家公司实习,但是工作还是挺忙的,经常要加班,无论工作多忙,还是决定要写一个专栏,这个专栏就写一些数据挖掘算法、数据结构、算法设计和分析的相关文章。通过写博文来督促自己不断学习。以前对于数学没有多大的兴趣爱好,从小 阅读详情

相关推荐

04 数据挖掘之朴素贝叶斯算法

04 数据挖掘之朴素贝叶斯算法 原文链接:04 数据挖掘之朴素贝叶斯算法 相关博客 01 数据挖掘之Apriori关联规则算法 02 数据挖掘之k均值聚类算法 03 数据挖掘之ID3决策树算法 前言 照例,数据挖掘迎来了第四次实践作业,此次内容是贝叶斯的一些算法,在学习课程的过程中,觉得这些算法对以后也许会有些许帮助,因此在此作为笔记记录。 贝叶斯 参考博客:Python3 实现朴素贝叶斯分类,朴素贝叶斯分类:原理 贝叶斯原理是英国数学家托马斯·贝叶斯提出的。贝叶斯是个很神奇的人,他的经历类似梵高。生前没有

qq_40903080的博客 1851

python朴素贝叶斯对wine_《统计学习方法》 第四章朴素贝叶斯法

1.1 模型简介朴素贝叶斯法(naive Bayes)是一种基于贝叶斯定理和特征条件独立的分类算法.它的实现较为简单且学习预测的效率也很高, 所以是实际中应用非常广泛的一类模型. 贝叶斯公式1.2 基本假设1.2.1 联合概率分布在朴素贝叶斯法中, 假设输入空间 是 维向量的集合, 输出的预测空间 . 算法中使用的 是定义在输入空间 的随机向量, 是定义在输出预测空间 的随机向量. 是 和...

weixin_42128270的博客 490

数据挖掘——朴素贝叶斯分类

《数据挖掘》国防科技大学 《数据挖掘》青岛大学 Python:贝叶斯分类 贝叶斯分类基于贝叶斯定理,是机器学习的核心方法之一。 目前研究较多的贝叶斯分类器主要有四种: 朴素贝叶斯分类器(Naive Bayes Classifier,或 NBC) TAN BAN GBN 数据挖掘之朴素贝叶斯分类 • 朴素贝叶斯分类器有坚实的数学基础,以及稳定的分类效率。同时,此模型所需估 计的参数很少,对缺失数据不太敏感,算法也比较简单。 贝叶斯定理 最终的目标就是求得p(类别|特征) 。 • 朴素贝叶斯中的朴素就是

Lilo_的博客 2663

用python对wine数据集进行简单的bayes分类

GitHub地址:https://github.com/kevinten10/Data-Processing (代码在最下面) 正在学习人工智能课程,作业要求自己写一个贝叶斯分类器,分享一下,一起学习   题目描述: 对于Wine数据库,用Python实现以下内容: 1)利用非参数密度估计方法估计先验概率密度。 2)建立最小错误率Bayes分类器。 3)检验分类器性能。 实验内容...

KevinTen|AI Coding 实战 8594

数据挖掘十大算法(九):朴素贝叶斯原理、实例与Python实现

一、条件概率的定义与贝叶斯公式 二、朴素贝叶斯分类算法 朴素贝叶斯是一种有监督的分类算法,可以进行二分类,或者多分类。一个数据集实例如下图所示: 现在有一个新的样本,X = (年龄:<=30, 收入:中, 是否学生:是, 信誉:中),目标是利用朴素贝叶斯分类来进行分类。假设类别为C(c1=是 或 c2=否),那么我们的目标是求出P(c1|X)和P(c2|X),比较谁更大,那么...

tensory的博客 1万+

SQL Server 数据挖掘系列(二) - 微软朴素贝叶斯算法

从本系列的这篇开始我们来研究SQL Server所有内置算法的功能,我们按照它们的复杂性由浅入深地介绍,对于每一个算法,我们都将讨论它的功能、常见配置以及一些高级的可配置属性。今天先来介绍这几个算法当中最为简单的一个,微软朴素贝叶斯算法。 微软朴素贝叶斯算法是SAS中最简单的算法,通常用作理解数据基本分组的起点,说的简单一点就是处理数据的分类。这个算法之所以称为“朴素”,是因为所有属性的重要

徐悦 Tech Blog 8099

python朴素贝叶斯对wine_基于朴素贝叶斯对Wine数据集分类

夏赵建+杜友福摘要:为了解决由于葡萄酒的组成成分十分复杂与多样而导致它的类型分类与品质划分困难的问题,减少由于感官评审法对葡萄酒的评测周期长、影响因素多,主观性强和重复性差以及近红外光谱和三维荧光光谱等重复性差、人的感官长时间易出现适应性疲劳而导致对葡萄酒的口感、质量评测造成不可估计的经济影响。通过对178个葡萄酒样品化学分析数据进行分析处理, 其中有13个葡萄酒属性,使用朴素贝叶斯分类算法对其属...

weixin_40007548的博客 2719

数据挖掘算法R语言实现KNN、朴素贝叶斯、决策树

本文是数据挖掘中的一些常用算法介绍,包含了KNN、朴素贝叶斯、决策树,并举例说明。

qq_53974735的博客 2858

机器学习-采用正态贝叶斯分类器对wine分类

1.数据集的准备 我采用UCI中的Wine Data Set 2.

tiankong_的博客 1289

分类算法入门:决策树、朴素贝叶斯与最近邻算法

在数据科学和数据挖掘领域,分类算法扮演着关键的角色。它们不仅帮助我们理解数据的结构,还为预测和决策提供了有力的工具。本文将介绍两种常用的分类算法:决策树和朴素贝叶斯,并深入探讨它们在数据分析和数据挖掘中的应用。

theskylife的博客 2042

朴素贝叶斯分类器(wine红酒数据集)

机器学习领域一个非常重要理论就是贝叶斯理论,本文就是一篇关于使用朴素贝叶斯分类器来进行多维数据分类的学习使用文档,由于使用latex进行排版,所以就直接上传PDF文档了,如有问题可以在优快云上私信我,多谢批评指正。

机器学习——朴素贝叶斯分类

贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。。

diosamaehjs的博客 541

Label Studio 图像分割自动标注接入教程:从模型预测到一键上传 Predictions

这篇文章详细介绍了如何使用Label Studio进行图像分割任务的自动标注流程。主要内容包括: 环境准备:安装Label Studio和模型推理依赖 项目配置:启动Label Studio服务,创建项目并配置BrushLabels标注界面 数据准备:导入待标注图片,获取API访问凭证 模型推理:运行训练好的分割模型生成预测mask 结果上传:将预测结果转换为Label Studio格式并通过API上传为Predictions 文章提供了完整的操作指南,包括: 详细的命令行参数说明 推荐的项目目录结构 标注

. 452

python朴素贝叶斯对wine_数据挖掘从入门到放弃(三):朴素贝叶斯

回顾上两篇文章,我们讲述了线性回归和逻辑回归和决策树今天我们来看一下另外一个非常常用的算法:朴素贝叶斯算法“朴素贝叶斯是一种常用的分类算法,适用于维度非常高的数据集,具有速度快,可调参数少有点,非常适合为分类问题提供快速粗糙的基本方案,经常用于垃圾邮件分类等场景中,相同内容更新:https://blog.csdn.net/yezonggang。”朴素贝叶斯算法朴素贝叶斯算法依据概率论中...

weixin_42181686的博客 383

APB Timer验证环境搭建——学习笔记(1)

以下为个人学习笔记,如有疏漏,请大家指正补充~~APB Timer是一个简单的下行计数器,包括一个32位计数器和一组比较器,可以实现多种计时功能。包括生成一次性中断或者定时中断。

qq_41651535的博客 1579

利用 Openocd 和 FT2232H 实现 ARMv8(Coretex-A53)高效调试方案

本文详细介绍了如何利用开源工具OpenOCD与高性能USB转接芯片FT2232H,构建一套针对ARMv8架构(如Cortex-A53)的高效、低成本调试方案。内容涵盖从环境搭建、驱动配置、核心调试架构解析到实战问题排查的全过程,帮助开发者实现对多核处理器的透明、可控调试,是嵌入式Linux及底层开发的实用指南。

weixin_29163581的博客 281

数据挖掘-朴素贝叶斯算法

微信搜索:“二十同学” 公众号,欢迎关注一条不一样的成长之路 我个人认为,在数据挖掘领域,分类算法是最为重要。它根据以往的数据来对新的数据做预测。垃圾邮件判断,潜在用户挖掘等都会用到分类算法。今天把总结朴素贝叶斯算法(NaiveBayes)的学习心得。 Bayes是谁 Thomas Bayes,英国数学家。约1701年出生于伦敦,做过神甫。1742年成为英国皇家学会会员。1761年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论,并创立了贝叶斯统计理论,对于统计决.

二十同学 5万+

FPGA时钟架构解密:从SRCC/MRCC到全局时钟树的实战指南

本文深入解析Xilinx 7系列FPGA时钟架构,从SRCC/MRCC引脚特性到全局时钟树设计,详细介绍了BUFG、BUFMR等关键组件的应用场景和优化策略。通过对比SRCC与MRCC的驱动范围及适用场景,提供低抖动时钟布线技巧和时钟域交叉(CDC)设计方法,帮助工程师构建高性能FPGA时钟系统。

weixin_29191081的博客 1487

数据挖掘面试题之:朴素贝叶斯

数据挖掘面试题之:朴素贝叶斯本文为数据茶水间群友原创,经授权在本公众号发表。关于作者:DD-Kylin,一名喜欢编程与机器学习的统计学学生,勤学好问,乐于钻研,期待跟大家...

木东居士 5639

PCB工程师必看:别再搞错1078玻纤布的Dk了,手把手教你算等效介电常数

本文为PCB工程师提供了1078玻纤布等效介电常数(Dk)的详细计算指南,帮助解决高速设计中的信号完整性问题。通过解析玻纤布结构、混合介质理论和实战计算方法,指导工程师准确设置EDA工具参数,避免常见的Dk计算误区,提升设计精度和仿真准确性。

weixin_42546392的博客 399

KEIL-MDK代码美化神器:AStyle配置全攻略(附常用参数详解)

本文详细介绍了如何在KEIL-MDK中配置和使用AStyle代码格式化工具,包括基础参数设置、高级格式控制、团队协作方案以及KEIL深度集成技巧。通过合理的AStyle配置,开发者可以显著提升代码风格一致性,优化团队协作效率,特别适合嵌入式开发项目。

weixin_30505225的博客 149

Python数据挖掘之基础分类模型_朴素贝叶斯

有监督学习是指在训练数据集中,每个数据样本都对应一个目标值。根据目标值的类型,任务分为两种主要类型:分类和回归。分类(Classification):目标值是离散的类别标签,任务目的是根据已知数据预测类别。回归(Regression):目标值是连续的实数值,任务目的是预测数值型输出。有监督学习任务分类任务类型目标值描述示例分类离散类别标签任务是预测一个数据点属于哪个类别如:邮件分类为垃圾邮件或非垃圾邮件回归连续实数值任务是预测一个连续数值如:房价预测,温度预测分类与回归任务的区别。

jerrykorea的博客 1098

车牌识别系统

随这图形图像技术的发展,现在的车牌识别技术准确率越来越高,识别速度越来越快。无论何种形式的车牌识别系统,它们都是由触发、图像采集、图像识别模块、辅助光源和通信模块组成的。车牌识别系统涉及光学、电器、电子控制、数字图像处理、计算视觉、人工智能等多项技术。触发模块负责在车辆到达合适位置时,给出触发信号,控制抓拍。辅助光源提供辅助照明,保证系统在不同的光照条件下都能拍摄到高质量的图像。图像预处理程序对抓拍的图像进行处理,去除噪声,并进行参数调整。然后通过车牌定位、字符识别,最后将识别结果输出。 牌照自动识别是一

FPGA/MATLAB学习教程/源码/项目合作开发 2万+

数据挖掘(二)朴素贝叶斯

指的是统计意义上的独立,即一个特征或者单词出现的可能性与它和其他单词相邻没有关系,比如说,“我们”中的“我”和“们”出现的概率与这两个字相邻没有任何关系。我们可以观察文档中出现的词,并把每个词作为一个特征,而每个词的出现或者不出现作为该特征的值,这样得到的特征数目就会跟词汇表中的词的数目一样多。我们可以观察文档中出现的词,并把每个词作为一个特征,而每个词的出现或者不出现作为该特征的值,这样得到的特征数目就会跟词汇表中的词的数目一样多。朴素贝叶斯是上面介绍的贝叶斯分类器的一个扩展,是用于文档分类的常用算法。

May the Force be with you 2373

用 CL_ABAP_PARALLEL 把批量处理跑进并行对话进程:资源配额、超时治理与可复制的落地模板

文章摘要: CL_ABAP_PARALLEL是SAP推荐的并行处理工具,适用于时间窗口受限的批量任务处理。它基于aRFC/pRFC机制,通过对话进程实现并行,能将小时级任务压缩到分钟级。使用时需注意版本兼容性(可能需要Note 2791374)、资源限制(会话数、进程数)和任务切片策略。提供两种实现方式:继承式(重定义do方法)和接口式(实现IF_ABAP_PARALLEL)。关键参数包括并发控制(p_percentage)、超时设置(p_timeout)和调试开关(p_debug)。最佳实践建议按业务维度

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 244

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

上一篇: 数据挖掘从入门到放弃(二):决策树
下一篇: 有人在代码里下毒!慎用 pip install 命令
Wang_AI
博客等级 码龄12年 997粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值