KNN

最新推荐文章于 2023-12-25 14:20:46 发布
最新推荐文章于 2023-12-25 14:20:46 发布
阅读量577 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/learnstudy2/article/details/102601113
版权
KNN是一种基本的机器学习算法，用于分类和回归。它基于样本的K个最近邻进行预测，分类时通常采用多数表决，回归时则使用平均值。K值的选择、距离度量和决策规则是KNN的重要因素。KNN实现方式包括蛮力和KD树，后者能提高效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

K近邻 K-nearst neighbors KNN
KNN是一种基本的机器学习算法，所谓K近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的K个邻居来代表

KNN在做回归和分类的主要区别在于最后做预测的时候的决策方式不同
KNN在分类预测时，一般采用多数表决法
KNN在回归预测时，一般采用平均值法

KNN算法原理

  1. 从训练集合中获取K个离待预测样本距离最近的样本数据
  2. 根据获取得到的K个样本数据来预测当前待测样本的目标属性值

在KNN算法中，非常重要的主要是三个因素：

  • K值选择，对于K值得选择，一般根据样本分布选择一个较小得值，然后通过交叉验证来选择一个比较合适得最终值。当选择比较小的K值的时候，表示使用较小领域中的样本进行预测，训练误差会减少，但是会导致模型变得复杂，容易过拟合；当选择较大的K值得时候，表示使用较大领域中得样本进行预测，训练误差会增大，同时会使模型变得简单，容易导致欠拟合。
  • 距离的度量，一般使用欧氏距离（欧几里得距离）
  • 决策规则，在分类模型中，主要使用多数表决法或者加权多数表决法；在回归模型中，主要使用平均值法或者加权平均值法

KNN分类预测规则
在KNN分类应用中，一般采用多数表决法或者加权多数表决法
多数表决法：每个邻近样本的权重是一样的，也就是说最终预测的结果为出现类别最多的那个类
加权多数表决法：每个邻近样本的权重是不一样的，一般情况下采用权重和距离成反比的方式来计算

KNN回归预测规则
在KNN回归应用中，一般采用平均值法或者加权平均值法
平均值法：每个邻近样本的权重是一样的，也就是说最终预测的结果为所有邻近样本的目标属性值的均值
加权平均值法：每个邻近样本的权重是不一样的，一般情况下采用权重和距离成反比的方式来计算

KNN算法实现方式
KNN算法的重点在于找出K个最邻近的点，主要的方式有以下几种：
蛮力实现：计算预测样本到所有训练集样本的距离，然后选择最小的K个距离即可得到K个最邻近点。缺点在于当特征数比较多、样本数比较多的时候，算法的执行效率比较低
KD树 KD_TREE：在KD算法中，首先对训练数据进行建模，构建KD树，然后再根据
建好的模型来获取邻近样本数据

KD Tree是KNN算法中用于计算最近邻的快速、便捷构建方式
当样本数据量少的时候，可以使用brute这种暴力方式进行求解最近邻。但是当样本数据量较大的时候，直接计算所有样本的距离，工作量有点大，所以在这种情况下，可以使用KD树来快速的计算

KD树是二叉树

KD Tree构建步骤

  1. 采用m个样本中的n个属性进行划分
  2. 分布计算n个属性特征的方差，进行从大到小排序
  3. 选取方差最大的属性作为划分，选取样本的中位数点nkv，以此样本作点作为根节点，讲该属性特征小于nvk的样本放在左子树上，大于的放在右子树上
  4. 根据方差的第二大属性进行左右子树划分，同上述过程
  5. 循环迭代，数据集划分完毕

从根节点出发，依照方差排列的属性顺序递归的向下访问KD树，若当前维的坐标小于切分点的坐标移动到左子节点，否则移动到右子节点，直到子节点为叶节点为止。以此叶节点为当前最近点，记录搜索路径中的切分点x

计算待测点到每个x的距离R
以待测点为圆心，最小的距离R为半径画圆
将园内包含的点增加到搜索路径中，直到没有实点为止

jpfjkslT
关注
KNN（最邻近规则分类）+决策树 （入门）
NUC__xjx的博客
04-07 1388
一、最临近规则分类（KNN） KNN：通过计算分类数据点，与已有数据集中的所有数据点的距离。取距离最小的前K个点，根据“少数如从多数”的原则，将这个数据点划分为出现次数最多的哪个类别。 如图： 上代码：（一个超级简单的例子） from sklearn.neighbors import KNeighborsClassifier #创建数据集x 和标签y x = [[0],[1],[2],[3]] y...
KNN算法
m0_55392122的博客
05-31 3560
K近邻 k近邻法(k-nearest neighbor, kNN)是1967年由Cover T和Hart P提出的一种基本分类与回归方法。它的工作原理是：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。
机器学习-K邻域法（k-NN）
zfjBIT的专栏
12-07 6188
1. KNN简介       该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。你可以简单的理解为由那离自己最近的K个点来投票决定待分类数据归为哪一类。       kNN是一种基本分类与回归方法。       KNN算法的过程为:       选择一种距离计算方式, 通过数据所有的特征计算新数据与已知类别数据...
【KNN算法详解（用法，优缺点，适用场景）及应用】
分享关于数据的知识。
04-01 1万+
KNN（K Near Neighbor）：k个最近的邻居，即每个样本都可以用它最接近的k个邻居来代表。KNN算法属于监督学习方式的分类算法，我的理解就是计算某给点到每个点的距离作为相似度的反馈。简单来讲，KNN就是“近朱者赤，近墨者黑”的一种分类算法。KNN是一种基于实例的学习，属于懒惰学习，即没有显式学习过程。要区分一下聚类（如Kmeans等），KNN是监督学习分类，而Kmeans是无监督学习的聚类，聚类将无标签的数据分成不同的簇。
机器学习之KNN算法：日撸Java三百行day51-53
.
05-05 2516
一、什么是KNN算法 K近邻（K-Nearest Neighbor, KNN），是一种最简单和最经典的有监督学习算法之一。KNN算法是最简单的分类器，可以应用于分类和回归问题。同时，它也不具备任何显式的学习过程或训练过程，属于懒惰学习（Lazy Learning）。所谓懒惰学习，类似于开卷考试，在已有数据中去找答案。虽然KNN是懒惰学习，但它的算法效果十分出色。 二、KNN算法的基本思想 以iris分类问题为例：将iris的特征数据散布在特征空间中，将每一个分类对象抽象成一个点。找到距离它最近的K
KNN_KNN分类_CIFAR-10_knn图像分类
09-11
KNN（K-Nearest Neighbors）算法是一种监督学习方法，常用于分类和回归问题，尤其在图像分类中表现出色。CIFAR-10是一个广泛使用的图像识别数据集，包含10个类别的60000张32x32像素的彩色图像。本项目将KNN算法应用...
KNN进行水果分类和分类器实战.docx
10-09
【KNN算法简介】 K-Nearest Neighbor (KNN) 算法是机器学习领域中最基础的算法之一，适用于分类和回归任务。KNN基于实例的学习，它并不需要进行显式的模型训练，而是直接根据已有数据进行预测。在分类问题中，KNN...
Python实现KNN时间序列预测（完整源码和数据)
04-08
1.Python实现KNN时间序列预测（完整源码和数据) anaconda + pycharm + python +Tensorflow 注意事项：保姆级注释，几乎一行一注释，方便小白入门学习！ 2.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、...
java实现基于knn算法和MapReduce实现电影网站用户性别预测项目源码+文档说明
最新发布
11-06
java实现基于knn算法和MapReduce实现电影网站用户性别预测项目源码+文档说明java实现基于knn算法和MapReduce实现电影网站用户性别预测项目源码+文档说明java实现基于knn算法和MapReduce实现电影网站用户性别预测项目...
KNN分类算法例子KNN分类算法例子
06-01
KNN，全称为K-Nearest Neighbors，是机器学习领域一种简单且直观的监督学习算法，主要用于分类任务。这个算法的基本思想是“物以类聚”，即一个样本的类别可以由其最近邻的K个样本的类别决定。在KNN算法中，K是一个...
KNN算法详解
热门推荐
zsmjqtmd的博客
04-15 2万+
title: “KNN算法详解” date: 2022-01-01T11:20:23+08:00 lastmod: 2022-01-01T13:20:23+08:00 draft: false tags: [“机器学习”, “KNN”, ‘KD树’] categories: [“机器学习”] author: “玉面蟾蜍” KNN算法详解 KNN算法是一种非参数分类算法(不需要训练参数)，隶属于有监督学习，其核心思想为：“近朱者赤近墨者黑” 定义 KNN（K- Nearest Neighbor）法即K最邻.
【机器学习】一文搞懂K近邻算法(KNN)，附带多个实现案例
Daycym的博客
11-24 7926
一、KNN回顾 kkk近邻算法 kkk 近邻学习是一种常用的监督学习方法，比如：判断一个人的人品，只需要观察与他来往最密切的几个人的人品好坏就可以得出，即“近朱者赤，近墨者黑”。 理论/原理：“物以类聚，人以群分” 相同/近似样本在样本空间中是比较接近的，所以可以使用和当前样本比较近的其他样本的目标属性值作为当前样本的预测值。 kkk 近邻法的工作机制很简单： 给定测试样本，基于某种距离度...
KNN笔记
qq_14993591的博客
09-15 488
KNN（K-近邻） 核心思想 算法原理 KD树 KNN面试题
K近邻算法(KNN)原理整理小结
dongbao520的博客
06-28 3188
K近邻法(k-nearest neighbors,KNN)是一种很基本的机器学习方法了，在我们平常的生活中也会不自主的应用。比如，我们判断一个人的人品，只需要观察他来往最密切的几个人的人品好坏就可以得出了。这里就运用了KNN的思想。KNN方法既可以做分类，也可以做回归，这点和决策树算法相同。KNN算法是选择与输入样本在特征空间内最近邻的k个训练样本并根据一定的决策规则，给出输出结果 。KNN算法是很基本的机器学习算法了，它非常容易学习，在维度很高的时候也有很好的分类效率，因此运用也很广泛。决策规则：....
机器学习算法之KNN
sinat_41928169的博客
05-27 996
1、K 最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是 最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的 k 个最相似(即 特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。 2、KNN 方法虽然从原理上也依赖于 极限定理，但在类别决策时，只与极少量的相邻样本有关。由于 KNN 方法主要靠周围有限的 邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多 的待分样本集来说，KNN 方法较
pandas numpy
learnstudy2的博客
04-18 220
列表和array模块，是python自带的。 Numpy两种基本对象： ndarray ufunc ndarray对象 修改数组的shape属性，在保持数组元素个数不变的情况下，改变数组每个轴的长度。只是改变每个轴的大小，数组元素在内存中的位置并没有改变。当设置某个轴的元素个数为-1时，将自动计算此轴的长度。第0轴指的是有几行。 数值类型与数值对象 创建ndarray对象 np.array() np.arange(开始值,终值,步长)，不包含终值 np.linspace(开始值,终值,元数个数)，创建
KNN算法的原理:
别追我我有止咳糖浆
11-19 1050
KNN算法的原理: knn不仅可以实现分类还可以实现回归.kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别. 最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可...
机器学习——KNN算法
qq_41566819的博客
12-25 1237
KNN（K-Nearest Neighbor, K 近邻）算法是最简单的分类算法之一，它也是最常用的分类算法之一。
Python实现KNN算法教程
### kNN（k-最近邻）算法简介 kNN（k-Nearest Neighbors）是一种基本分类与回归方法。在分类问题中，算法会根据一个待分类数据点的k个最近邻居的类别来决定其类别，而在回归问题中，算法则根据最近邻居的输出值来...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值