02-分类算法：knn、朴素贝叶斯、决策树和随机森林

最新推荐文章于 2025-04-11 15:15:50 发布
最新推荐文章于 2025-04-11 15:15:50 发布
阅读量3.5k 收藏 19
点赞数 1
文章标签： 分类算法 最近邻分类算法 决策树 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46309026/article/details/106902712
版权
本文详细介绍了Python中sklearn库的分类算法，包括k近邻（KNN）、朴素贝叶斯、决策树和随机森林。讲解了每个算法的基本概念、公式、实现语法、模型调优方法以及各自的优缺点。通过案例展示了如何运用这些算法进行预测，并提供了数据集划分和获取的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

sklearn数据集

一、数据集划分

二、 数据集获取

三、sklearn机器学习算法的实现-估计器

分类算法-k近邻算法(KNN)

一、定义：

二、公式：

三、语法：

四、模型调优方法：

1、交叉验证

2、网格搜索

五、k-近邻算法优缺点

六、案例：预测入住位置

分类算法-朴素贝叶斯算法

一、概率基础

二、朴素贝叶斯-贝叶斯公式

三、语法

四、朴素贝叶斯分类优缺点

五、模型评估

六、案例

分类算法-决策树

一、决策树的划分依据之一信息增益

二、常见决策树使用的算法

三、sklearn决策树语法

四、决策树的优缺点以及改进

分类算法-集成学习-随机森林

一、定义：

二、学习算法：

三、要求：

四、集成学习随机森林语法

五、随机森林的优点

六、案例

sklearn数据集

一、数据集划分

机器学习一般的数据集会划分为两个部分：

  • 训练数据：用于训练，构建模型
  • 测试数据：在模型检验时使用，用于评估模型是否有效

语法：sklearn.model_selection.train_test_split

  • x：数据集的特征值
  • y：数据集的标签值
  • test_size：测试集的大小，一般为float
  • random_state：随机数种子,不同的种子会造成不同的随机 采样结果。相同的种子采样结果相同。
  • return：训练集特征值，测试集特征值，训练标签，测试标签 (默认随机取)    

二、 数据集获取

语法：sklearn.datasets（加载获取流行数据集）

  • datasets.load_*() （获取小规模数据集，数据包含在datasets里） 
  • datasets.fetch_*(data_home=None) （获取大规模数据集，需要从网络上下载，函数的第一个参数是data_home，表示数据集下载的目录,默认是 ~/scikit_learn_data/）

三、sklearn机器学习算法的实现-估计器

在sklearn中，估计器(estimator)是一个重要的角色，分类器和回归器都属于estimator，是一类实现了算法的API

1、用于分类的估计器：

  • sklearn.neighbors    k-近邻算法
  • sklearn.naive_bayes      贝叶斯
  • sklearn.linear_model.LogisticRegression     逻辑回归

2、用于回归的估计器：

  • sklearn.linear_model.LinearRegression     线性回归
  • sklearn.linear_model.Ridge      岭回归

分类算法-k近邻算法(KNN)

一、定义：

如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

二、公式：

两个样本的距离可以通过如下公式计算，又叫欧式距离，比如说，a(a1,a2,a3),b(b1,b2,b3)

三、语法：

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')

  • n_neighbors：int,可选（默认= 5），k_neighbors查询默认使用的邻居数
  • algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可选用于计算最近邻居的算法：‘ball_tree’将会使用 BallTree，‘kd_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。 (不同实现方式影响效率)

四、模型调优方法：

1、交叉验证

为了让被评估的模型更加准确可信。将拿到的数据，分为训练和验证集。以下图为例：将数据分成5份，其中一份作为验证集。然后经过5次(组)的测试，每次都更换不同 的验证集。即得到5组模型的结果，取平均值作为最终结果。又称5折交叉验证。

2、网格搜索

通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值），这种叫超参数。但是手动过程繁杂，所以需要对模型预设几种超参数组 合。每组超参数都采用交叉验证来进行评估，最后选出最优参数组合建 立模型。

语法：sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None)对估计器的指定参数值进行详尽搜索

  • estimator：估计器对象
  • param_grid：估计器参数(dict){“n_neighbors”:[1,3,5]}
  • cv：指定几折交叉验证
  • fit：输入训练数据
  • score：准确率

结果分析：

  • best_score_:在交叉验证中测试的最好结果
  • best_estimator_：最好的参数模型
  • cv_results_:每次交叉验证后的测试集准确率结果和训练集准确率结果

五、k-近邻算法优缺点

优点： 简单，易于理解，易于实现，无需估计参数，无需训练

缺点： 懒惰算法，对测试样本分类时的计算量大，内存开销大 必须指定K值，K值选择不当则分类精度不能保证

使用场景：小数据场景，几千～几万样本，具体场景具体业务去测试

六、案例：预测入住位置

from sklearn.mo
最低0.47元/天 解锁文章
yanyx1
关注
对机器学习各个经典算法的总结：KNN、高斯贝叶斯、随机森林、梯度增强、SVM支持向量机、Adaboost、逻辑回归算法
qq_45756171的博客
05-02 1550
（1）K近邻分类器算法（K Neighbor）: 存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据 与所属分类的对应关系。输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的 特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们 只选择样本数据集中前K个最相似的数据，这就是K-近邻算法中K的出处,通常来说K是不大于20的整数。 最后 ，选择K个最相似数据中出现次数最多的分类，作为新数据的分类。 （2）高斯朴素贝叶斯分
朴素贝叶斯算法对MNIST数据集分类
little_white 的博客
04-27 6325
1.朴素贝叶斯算法介绍 算法本质的是贝叶斯公式 p(x∣y)=p(y∣x)p(x)p(y)p(x \mid y)=\dfrac{p(y \mid x)p(x)}{p(y)}p(x∣y)=p(y)p(y∣x)p(x)​，计算在已知数据的条件下，求各个分类的后验概率，数据的分类结果是概率最大的那个分类。 朴素一词的来源是假设各特征之间相互独立。因此 p(x⃗∣c1)=p(x1,x2...xn∣c1)=...
机器学习中的朴素贝叶斯与随机森林算法
最新发布
weixin_28988985的博客
04-11 300
本文介绍了朴素贝叶斯分类器的工作原理及其在文档分类和垃圾邮件过滤中的应用。同时，探讨了随机森林分类系统的概念，强调了其在大数据集上处理决策任务的有效性，并比较了这两种算法的不同特点。
day02-Knn、朴素贝叶斯、决策森林和随机森林
qq_36334897的博客
09-01 643
一、sklearn数据集 skearn库中有自带的小数据集，也有从网下下载的某些数据集API 数据集划分 训练数据：用于训练，构建模型 测试数据：在模型检验时使用，用于评估模型是否有效 API: sklearn.model_selection.train_test_split x_train, x_test, y_train, y_test =train_test_split(x,y,test_size=0.25) 注：训练集和测试集数据比例通常是0.75:0.25 sklearn数据集接口介绍
image_classification:KNN，SVM，随机森林方法的比较分析
04-09
image_classification KNN，SVM，随机森林方法的比较分析
一文上手决策树和随机森林和KNN-python
cuicuicuicuicuih的博客
05-05 1878
写在前面 我们在数据分析或者建模中经常会用到机器学习模型中的树模型或者近邻的方法，通过本文可以使你快速搭建出一个可以运行的效果还不错的模型，但是原理可以通过其他的博客自己补一下~ 写这篇文章也是想让自己记录一下，方便以后用的时候直接拿来用。我认为这里面最好用的还是当属可视化部分代码啦~毕竟学习之前也不知道可视化竟然这么方便！ 本文主要分为三个部分，分别是决策树的用法；KNN的用法；随机森林的用法。其实三者在sklearn里调包的话差别不大，细微差别。 适合像我一样的小白中的小白，可以大体了解一下~高手绕道
AI人工智能资料 机器学习和深度学习知识 day02-sklearn、knn、朴素贝叶斯、决策树、随机森林 共101页.pptx
10-22
本节主要关注机器学习的基础，特别是通过sklearn库实现的一些常见算法，包括k近邻（KNN）、朴素贝叶斯、决策树以及随机森林。 首先，sklearn是一个强大的Python机器学习库，提供了丰富的数据集和各种预处理工具以及...
大作业：实现了3个经典算法：KNN算法、K-Means算法、朴素贝叶斯算法
01-11
本次实现的分类算法有KNN算法和朴素贝叶斯算法，他们都有类标签，属于有监督算法。 简而言之，KNN算法是选取待分类数据周围最近的K个点，以少数服从多数的原则为基础，判断未知点的类别。朴素贝叶斯算法利用贝叶斯...
基于Python垃圾短信识别程序(KNN、逻辑回归、随机森林、决策树和多项式分布朴素贝叶斯、伯努利分布朴素贝叶斯等算法进行融合)
05-23
1.项目基于Python的垃圾... KNN、逻辑回归、朴素贝叶斯的速度很快、随机森林和决策树运行比较慢，梯度提升迭代决策树由于需要对残差进行不断的迭代，速度非常慢。综合召回率与准确率，两种朴素贝叶斯的结果比较理想。
什么是机器学习分类算法？【K-近邻算法(KNN)、交叉验证、朴素贝叶斯算法、决策树、随机森林】.doc
07-09
本文将介绍五种常见的机器学习分类算法：K-近邻算法（KNN）、交叉验证、朴素贝叶斯算法、决策树以及随机森林。 1. **K-近邻算法（KNN）** - **定义**：KNN 是一种基于实例的学习，它将新样本分类为其最近的 k 个...
机器学习（八）KNN,SVM，朴素贝叶斯，决策树与随机森林
May the Force be with you
08-15 8577
机器学习（八）KNN,SVM，朴素贝叶斯，决策树与随机森林 参考： https://zhuanlan.zhihu.com/p/61341071 1.KNN—K最近邻（K-Nearest Neighbor) KNN可以说是最简单的分类算法之一，同时，它也是最常用的分类算法之一，注意KNN算法是有监督学习中的分类算法，它看起来和另一个机器学习算法Kmeans有点像（Kmeans是无监督学习算法），但却是有本质区别的. KNN的全称是K Nearest Neighbors，意思是K个最近的邻居，从这个名字我们就能
什么是机器学习分类算法？【K-近邻算法(KNN)、交叉验证、朴素贝叶斯算法、决策树、随机森林】
m0_56069948的博客
04-05 2083
Python微信订餐小程序课程视频 https://edu.youkuaiyun.com/course/detail/36074 Python实战量化交易理财系统 https://edu.youkuaiyun.com/course/detail/35475 1、K-近邻算法(KNN) 1.1 定义 （KNN，K-NearestNeighbor） 如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。 1.2 距离公式 两个样本的距离可以通过如下公式计算，又叫欧式距离。
机器学习：sklearn实现k邻近、朴素贝叶斯
Major_S的博客
04-03 1770
二
机器学习——分类器算法对比（KNN、SVM、朴素贝叶斯、随机森林、Adaboost）（学习笔记）
热门推荐
weixin_43870329的博客
06-01 2万+
目录k邻近(KNN)基础算法实例优缺点代码实现支持向量机(SVM)基础算法对偶问题松弛变量核函数代码实现朴素贝叶斯算法基本算法优点代码实现过拟合(Over fitting)以及欠拟合(Under fitting)集成学习方差和偏差模型的偏差和方差是什么？bagging的偏差和方差boosting的偏差和方差模型的独立性算法对比 k邻近(KNN) 基础算法 KNN是通过测量不同特征值之间的距离进行分类。它的的思路是： 如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样 本中的大多数属于某一个类别，
sklearn实现决策树，随机森林，逻辑回归，KNN，贝叶斯，SVM，以葡萄干数据集为例
weixin_43788986的博客
08-05 3966
介绍为：就是将图片通过一定方法提取出7个特征，分别为：同时葡萄干种类为两种，分别为Kecimen 和 Besni。可以看一眼数据集部分数据：其中该数据集是2020年发表的外文文献：Classification of Raisin Grains Using Machine Vision and Artificial该文献使用的是三种方法，分别为LR，MLP，SVM，准确率如下：我将采用不同机器学习的方法进行使用。........................
（参评）机器学习笔记——鸢尾花数据集（KNN、决策树、朴素贝叶斯分析）
AmbiRF的博客
06-28 1万+
最开始选取鸢尾花数据集来了解决策树模型时，笔者是按照学习报告的形式来写得，在这里将以原形式上传。格式较为繁复，希望读者可以耐心看完，谢谢大家。 目录 1、问题描述 2、数据准备与数据预处理   2.1 收集数据   2.2划分数据集 3、数据可视化 4、模型基本原理与算法实现   4.1  KNN算法基本原理及主程序   4.2决策树模型算法及基本原理   4.3朴素贝叶斯算法及基本原理 5、测试...
数据挖掘--“分类”详解、K最近邻、决策树、贝叶斯分类、支持向量机--算法讲解
csdn_bajie
07-02 2831
一. 什么是分类 二. 分类步骤 三. 分类算法有哪些 1 K最近邻算法 2 决策树 3 贝叶斯分类器 4 支持向量机 二.设计思路和设计构图 一. 什么是分类？ 分类技术或分类法(Classification) 是一种根据输入样本集建立类别模型，并按照类别模型对未知样本类标号进行标记的方法。在这种分类知识发现中，输入样本个体或对象的类标志是已知的，其任务在于从样本数据的属性中发现个体或对象的一般规则，从而根据该规则对未知样本数据对象进行标记。分类是一种 重要的数据分析..
朴素贝叶斯&&KNN算法
陈董董的博客
03-21 1488
朴素贝叶斯算法 朴素贝叶斯：简单的说就是计算某个东西在一堆样本中的概率。 举个栗子：有两堆词库，一堆词库里面存着好评的词组出现的概率。一堆词库存着差评的词组出现的概率。 现在给你一句话，让你计算出这句话是好评还是差评。那么就可以首先把这句话拆分，然后计算拆分出来的词组对应的好评和差评的概率是多少。最后把词组中好评的概率和好评的概率相乘。差评和差评的概率相乘。两者的值相除计算出是否倾向于好评还是差...
机器学习算法分类及数据集划分
捌椒的博客
10-06 4505
1. 需要明确的几个问题 2. 数据类型和算法分类 2.1 数据类型 2.2 机器学习算法分类 监督学习：既有特征值又有目标值。 无监督学习：只有特征值，无目标值。 2.3 监督学习 2.3.1 分类 (离散型) 1. K-近邻算法： 2. 贝叶斯分类： 3.决策树与随机森林： 4.逻辑回归： 5.神经网络：深度学习之神经网络基础(一) 2.3.2 回归(连续型) 聚类 K-Means算法：机器学习之K-Means算法 DBSCAN算法：机器学习之DBSCAN聚类算法 3.机器
Python手写体识别算法实践：KNN、决策树与朴素贝叶斯
资源摘要信息:"本资源主要关注如何基于Python实现手写体识别，涉及的算法包括KNN算法、决策树算法以及朴素贝叶斯算法。手写体识别是一种模式识别技术，它能够将扫描的图像或数字板上的手写字符转化为机器编码，进而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值