机器学习实验四：贝叶斯分类器

原创 已于 2023-12-06 14:08:43 修改 · 2.5k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能

于 2023-12-05 12:21:09 首次发布
本文介绍了机器学习实验系列中的第四篇，详细讲解了朴素贝叶斯和半朴素贝叶斯算法，包括高斯分布的使用，以及如何在Python中使用sklearn库实现贝叶斯分类器，涉及数据集划分、训练、性能评估等步骤。

系列文章目录

  1. 机器学习实验一：线性回归
  2. 机器学习实验二：决策树模型
  3. 机器学习实验三：支持向量机模型
  4. 机器学习实验四：贝叶斯分类器
  5. 机器学习实验五：集成学习
  6. 机器学习实验六：聚类

文章目录

一、实验目的

（1）了解朴素贝叶斯与半朴素贝叶斯的区别与联系，掌握高斯分布的朴素贝叶
斯计算方法；
（2）编程实现朴素贝叶斯分类器；
（3）使用朴素贝叶斯分类器实现多分类预测，度量模型性能。

二、实验原理

使用 Python 读取数据集信息并生成对应的朴素贝叶斯分类器，随后使用生
成的分类器实现多分类预测，并根据精确率、召回率和 F1值度量模型性能。

三、实验内容

1. 朴素贝叶斯

朴素贝叶斯（Naive Bayes）是基于贝叶斯定理与特征独立假设的分类方法。
使用朴素贝叶斯方法时，首先基于训练数据，基于特征条件独立假设学习输入与
输出的联合概率分布；随后对于给定的 X，利用贝叶斯定理求解后验概率最大的
输出标签。

2. 半朴素贝叶斯

半朴素贝叶斯是适当考虑一部分属性之间的相互依赖信息，其中“独依赖估
计”（One-Dependent Estimator，简称 ODE）是半朴素分类中最常用的一种策略。
所谓“独依赖估计”，也就是假设每个属性在分类类别之外最多仅依赖于一个其
他属性。
与基于特征的条件独立性假设开展的朴素贝叶斯方法相比，其最大的区别就
是半朴素贝叶斯算法放宽了条件独立假设的限制，考虑部分属性之间的相互依赖
信息。但两者有共同特点：假设训练样本所有属性变量的值都已被观测到，即训
练样本是完整的。

3. 高斯分布的朴素贝叶斯计算方法

使用条件：所有特征向量都是连续型特征变量且符合高斯分布。
概率分布密度：在这里插入图片描述

4. 实验数据介绍

实验数据为来自 UCI 的鸢尾花三分类数据集 Iris Plants Database。
数据集共包含 150 组数据，分为 3 类，每类 50 组数据。每组数据包括 4 个
参数和 1 个分类标签，4 个参数分别为：萼片长度 sepal length、萼片宽度 sepal
width、花瓣长度 petal length、花瓣宽度 petal width，单位均为厘米。分类
标签共有三种，分别为 Iris Setosa、Iris Versicolour 和 Iris Virginica。
数据集格式如下图所示：在这里插入图片描述
为方便后续使用，该数据集需要进行特征向量与标签分割以及标签编号。

5. 评价指标介绍

评价指标选择精确率 P、召回率 R、F1度量值 F1，计算公式如下：在这里插入图片描述
具体代码实现时，可以直接调用 sklearn 库中的相应方法进行计算。

四、实验步骤

1. 划分数据集

按照实验要求，本次数据集划分采用随机划分 80%数据用于训练，其余 20%
数据用于测试。使用 sklearn 库的 train_test_split()方法划分数据，代码如
下：


                

                
                
        

    


  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
贝叶斯分类器实验

				
			

			

				

					nandijimo的博客
				

				

					05-14
					
					2136
					
				

			

		

		

			
				
对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。朴素贝叶斯分类器是一类基于贝叶斯定理的简单概率分类算法，它是一种有监督学习算法，常用于文本分类、垃圾邮件过滤、情感分析等问题。朴素贝叶斯分类器假设特征之间相互独立（条件独立性假设），这是“朴素”（Naive）之处，因为在现实情况中，特征之间可能存在相关性。

			
		

	



                

            
              



	

		

			

				
					
[机器学习]贝叶斯分类器实验

				
			

			

				

					weixin_73049545的博客
				

				

					05-07
					
					1377
					
				

			

		

		

			
				
朴素贝叶斯分类器

			
		

	



              


  
              

                


	

		

			

				
					
机器学习实验三——贝叶斯分类器的简单应用

				
			

			

				

					2301_76679614的博客
				

				

					05-14
					
					1376
					
				

			

		

		

			
				
ybnum所存储的是每个类别的样本数量，tznum所存储的是每个预测类别的样本所对应的特征的数量，classes所存储的则是预测样本的类别，即‘是’或‘否’# 存储每个类别的样本数量# 存储每个预测类别的样本对应的特征的数量# 存储预测类别实验时，通过该方法进行分类时，不是每次都能得到理想的结果，与理想中的结果存在一定误差，需要通过不断完善训练集来提高分类准确性。其次，使用该分类器时注意各个特征需相互独立，否则难以得到准确结果。

			
		

	





	

		

			

				
					
机器学习-贝叶斯分类实验

				
			

			

				

					贰十二的博客
				

				

					08-15
					
					2964
					
				

			

		

		

			
				
机器学习-贝叶斯分类1. 中文文本分类介绍2. 文本分类的一般步骤：3. 具体操作4. 实验步骤5. 实验完整代码python
1. 中文文本分类介绍
文本挖掘是指从大量的文本数据中抽取事先未知的、可理解的、最终可用的知识的过程，同时运用这些知识更好的组织信息以便将来参考。
主要有以下几个方面的应用：
搜索和信息检索（IR）：存储和文本文档的检索，包括搜索引擎个关键字搜索。
文本聚类：使用聚类方法，对词汇、片段、段落或文件进行分组和归类。
文本分类：对片段、段落或文件进行分组和归类，在使用数据挖掘分类方法的

			
		

	



		

			
		



	

		

			

				
					
机器学习实验6 贝叶斯分类器

				
			

			

				

					weixin_51703554的博客
				

				

					10-12
					
					456
					
				

			

		

		

			
				
可以求出，在这里使用布尔值索引lable==i可以减少代码量，更加简便快捷。由于属性是-1和1，使用列表等下标必须是非负整数，所以这里使用字典存储，索引更加灵活。通过这次实验，我学习到了朴素贝叶斯分类器，相较于以前的SVM等分类方法，又学习到了基于概率的分类，提供了另一种解决分类问题的思路。3、求出条件概率，即不同属性在不同类别中出现的概率。需要保存两个键，键可能是负数或字符，使用嵌套的字典。三层循环，最外层枚举类型，第二层枚举属性列，最内层枚举该属性的所有取值。同样使用拉普拉斯修正进行数据平滑，公式为。

			
		

	





	

		

			

				
					
机器学习（贝叶斯分类器）

				
			

			

				

					weixin_40355324的博客
				

				

					03-19
					
					769
					
				

			

		

		

			
				
贝叶斯定理：贝叶斯定理是关于随机事件A和B的条件概率（或边缘概率）的一则定理。其中P(A|B)是指在B发生的情况下A发生的可能性。贝叶斯定理也称贝叶斯推理，早在18世纪，英国学者贝叶斯(1702～1763)曾提出计算条件概率的公式用来解决如下一类问题：假设H[1],H[2]…,H[n]互斥且构成一个完全事件，已知它们的概率P(H[i]),i=1,2,…,n,现观察到某事件A与H[1],H[2]…,...

			
		

	





	

		

			

				
					
机器学习实验四：朴素贝叶斯分类

				
			

			

				

					weixin_45775594的博客
				

				

					01-02
					
					1817
					
				

			

		

		

			
				
文章目录一、算法介绍二、朴素贝叶斯分类的优缺点三、代码简单实现
一、算法介绍
贝叶斯分类算法是一大类分类算法的总称，贝叶斯分类算法以样本可能属于某类的概率来作为分类依据。朴素贝叶斯分类算法是贝叶斯分类算法中最简单的一种。
首先我先给出一个贝叶斯公式：

代入实际的意义：
我们要求的是p(类别|特征)。而对于朴素贝叶斯算法，朴素贝叶斯算法是假设各个特征之间相互独立的**这样以来，我们可以将朴素贝叶斯公式写为：

而对于朴素贝叶斯分类的训练，就是基于训练集DDD估计 类先验概率P(c)P(c)P(c)，并为每个

			
		

	





	

		

			

          精选资源
				
					
机器学习：伯努利朴素贝叶斯分类器（原理+python实现）

				
			

			

				

					01-06
				

			

		

		

			
				
伯努利朴素贝叶斯分类器主要用于文本分类，下面我们以一个具体的例子，来讲述下伯努利朴素贝叶斯的原理和实现逻辑。 具体例子： 已知我们有八个句子以及每个句子对应的类别，即中性或侮辱性。那么再给出一个句子，...

			
		

	





	

		

			

				
					
机器学习实验四：朴素贝叶斯

				
			

			

				

					weixin_73926887的博客
				

				

					05-14
					
					1368
					
				

			

		

		

			
				
朴素贝叶斯

			
		

	





	

		

			

				
					
机器学习+贝叶斯分类器+北邮自动化机器学习实验+作业

				
			

			

				

					04-29
				

			

		

		

			
				
在本实验中，我们将深入探讨机器学习领域的一个关键概念——贝叶斯分类器，这是北京邮电大学自动化专业机器学习课程中的一个实验项目。贝叶斯分类器是一种基于贝叶斯定理的统计方法，广泛应用于数据挖掘、文本分类、...

			
		

	





	

		

			

				
					
贝叶斯分类实验.pdf

				
			

			

				

					01-16
				

			

		

		

			
				
贝叶斯分类算法是统计学的一种分类方法，它是一类利用概率统计知识进行分类的算法。在许多场合，朴素贝叶斯(Naïve Bayes，NB)分类算法可以与决策树和神经网络分类算法相媲美，该算法能运用到大型数据库中，而且方法简单、分类准确率高、速度快。

			
		

	





	

		

			

				
					
贝叶斯分类器

				
			

			

				

					03-21
				

			

		

		

			
				
贝叶斯分类器分类器

			
		

	





	

		

			

				
					
机器学习概论 朴素贝叶斯分类实现（实验二）

				
			

			

				

					le000426的博客
				

				

					11-24
					
					2651
					
				

			

		

		

			
				
一、实验目的
1、熟悉朴素贝叶斯的求解公式；
2、掌握朴素贝叶斯的代码实现；
3、比较朴素贝叶斯算法的优劣；
4、熟悉numpy的使用。
二、实验设备
计算机：CPU四核i7  6700处理器；内存8G； SATA硬盘2TB硬盘； Intel芯片主板；集成声卡、千兆网卡、显卡； 20寸液晶显示器。
编译环境：python解释器、Pycharm编辑器
三、实验内容
1、新建项目和文件，并导入numpy和matplotlib
（1）打开Pycharm，新建项目，并在该项目下新建文件naive_bayes_cla

			
		

	





	

		

			

				
					
模式识别实验报告--贝叶斯分类器设计

				
			

			

				

					qq_46139457的博客
				

				

					03-23
					
					7182
					
				

			

		

		

			
				
模式识别实验报告–贝叶斯分类器设计
一、实验内容
用 FAMALE.TXT 和 MALE.TXT 的数据作为训练样本集，建立 Bayes 分类器，用测试样本数据对该分类器进行测试。具体做法：应用单个特征进行实验：假设身高和体重不相关，以（a）身高或者（b）体重数据作为特征，在正态分布假设下利用贝叶斯法估计概率密度函数， 建立最小错误率 Bayes 分类器。在分类器设计时可以考察采用不同先验概率进行实验，考察先验概率的不同对错误率的影响。
需要用到的数据文件：
训练样本集：
FAMALE.TXT  50个女生

			
		

	





	

		

			

				
					
机器学习——学习记录（1）贝叶斯分类器

				
			

			

				

					weixin_43856705的博客
				

				

					10-10
					
					868
					
				

			

		

		

			
				
从零学习贝叶斯分类器代码。

			
		

	





	

		

			

				
					
机器学习实验-贝叶斯分类器

				
			

			

				

					JaneZ0206的博客
				

				

					04-11
					
					1540
					
				

			

		

		

			
				
山东大学软件学院机器学习实验一——基于鸢尾花数据集的贝叶斯分类器

			
		

	





	

		

			

				
					
机器学习—贝叶斯算法实验

					
最新发布

				
			

			

				

					qq_73559660的博客
				

				

					05-14
					
					1299
					
				

			

		

		

			
				
贝叶斯算法（Bayesian algorithm）是一种基于贝叶斯定理（Bayes' Theorem）的机器学习方法，用于估计模型参数和进行概率推断。贝叶斯定理描述了两个条件概率之间的关系，例如P(A|B)和P(B|A)。其数学表达式为：P(A|B) = P(B|A) * P(A) / P(B)。这个定理的核心思想是，当观察到新数据时，我们如何更新关于模型参数的信念。#加载数据集函数#dataSet:训练集 testSet:待测集 labels:样本所具有的特征的名称。

			
		

	





	

		

			

				
					
[贝叶斯四]之贝叶斯分类器设计

				
			

			

				

					faiculty
				

				

					02-06
					
					2291
					
				

			

		

		

			
				
这一小节我们将简单的阐述一般贝叶斯分类器设计的方法。分类器流程如下所示。


输入：d-dim 特征向量
计算决策函数值(针对每个类别)
选取最大的值
做出决策
输出结果


如下图可以清楚的表达整个分类器工作的流程。



借用《算法杂货铺——分类算法之朴素贝叶斯分类(Naive Bayesian classification)》的一张图来表示整个设计的流程。



下面我们将以两个小例子来贯穿...

			
		

	





	

		

			

				
					
贝叶斯估计实验(matlab)

				
			

			

				

					zzj的博客
				

				

					11-02
					
					5834
					
				

			

		

		

			
				
由于生活中很多参数如测量误差、产品质量指标等几乎都服从或近似服从正态分布，所以可以用对单变量正态分布中的贝叶斯估计进行分析并编写相应的Matlab程序，分析样本大小对贝叶斯估计误差的影响，进而验证贝叶斯估计的有效性。1、实验一：可以看出贝叶斯的估计值为19.25％，与真实值的误差值较大，这是由于样本数量较少，导致先验信息不够，最终估计值与真实值存在较大的误差。4、以上叙述生成的样本为基础，继续添加服从同样的正态分布的样本数据集，探索贝叶斯估计值和样本大小的关系。}z是取自正态分布N(μ，σ。

			
		

	





	

		

			

				
					
python机器学习实验:朴素贝叶斯分类器

				
			

			

				

					05-05
				

			

		

		

			
				
好的，那我们来实现一个朴素贝叶斯分类器吧。

首先，我们需要导入需要的库，包括numpy、pandas、sklearn中的train_test_split和MultinomialNB。代码如下：

```python
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
```

接下来，我们要读取数据集。这里我们使用UCI机器学习库中的Spambase数据集，该数据集包含了4601封电子邮件，其中1813封是垃圾邮件，2788封是正常邮件。数据集中有57个特征，包括每封邮件中出现的单词的频率、字符的频率等。我们可以使用pandas库读取该数据集，代码如下：

```python
data = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/spambase/spambase.data', header=None)
```

然后，我们将数据集分成训练集和测试集。训练集用来训练模型，测试集用来评估模型的性能。我们可以使用sklearn中的train_test_split函数来实现数据集的分割，代码如下：

```python
X_train, X_test, y_train, y_test = train_test_split(data.iloc[:,:-1], data.iloc[:,-1], test_size=0.3, random_state=42)
```

这里我们将数据集按照7:3的比例分成训练集和测试集。

接下来，我们可以使用MultinomialNB来实现朴素贝叶斯分类器。MultinomialNB适用于多项式分布的数据，这里我们将每个特征的频率作为输入。代码如下：

```python
clf = MultinomialNB()
clf.fit(X_train, y_train)
```

在这里，我们使用fit函数对训练集进行拟合，从而得到一个朴素贝叶斯分类器。

最后，我们可以使用测试集来评估模型的性能。代码如下：

```python
y_pred = clf.predict(X_test)
accuracy = np.mean(y_pred == y_test)
print('Accuracy:', accuracy)
```

这里我们使用predict函数对测试集进行预测，然后计算模型的准确率。

完整代码如下：

```python
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB

# 读取数据集
data = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/spambase/spambase.data', header=None)

# 分割数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(data.iloc[:,:-1], data.iloc[:,-1], test_size=0.3, random_state=42)

# 训练朴素贝叶斯分类器
clf = MultinomialNB()
clf.fit(X_train, y_train)

# 评估模型性能
y_pred = clf.predict(X_test)
accuracy = np.mean(y_pred == y_test)
print('Accuracy:', accuracy)
```

运行该代码，可以得到以下输出：

```
Accuracy: 0.8205099279858907
```

这意味着我们的朴素贝叶斯分类器在该测试集上的准确率约为82%。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
Magic171

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值