K-近邻算法： k-nearest neighbor classification (kNN) 详细介绍

原创 已于 2024-06-22 11:50:19 修改 · 9.5w 阅读 · 239 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#近邻算法 #算法

于 2020-04-09 15:07:20 首次发布
本文深入解析k近邻算法(kNN)，涵盖算法原理、关键要素、实现方式如kd树，以及Python实现示例。探讨了k值选择、距离度量和分类决策规则，并分析了kNN的优缺点。

@创建于：2020.04.09
@修改于：2020.04.09

文章目录

1、kNN介绍

kNN是一个基本而简单的分类算法，作为监督学习，那么KNN模型需要的是有标签的训练数据，对于新样本的类别由与新样本距离最近的k个训练样本点按照分类决策规则决定。k近邻法1968年由Cover和Hart提出。

k近邻法（k-nearest neighbor, kNN）是一种基本的分类与回归方法；是一种基于有标签训练数据的模型；是一种监督学习算法。

基本做法的三个要点是：
第一，确定距离度量；
第二，k值的选择（找出训练集中与带估计点最靠近的k个实例点）；
第三，分类决策规则。

  • 在 分类 任务中可使用“投票法”，即选择这k个实例中出现最多的标记类别作为预测结果；
  • 在 回归 任务中可使用“平均法”，即将这k个实例的实值输出标记的平均值作为预测结果；
  • 还可基于距离远近进行加权平均或加权投票，距离越近的实例权重越大。

k近邻法不具有显式的学习过程。它是懒惰学习（lazy learning）的著名代表，此类学习技术在训练阶段仅仅是把样本保存起来，训练时间开销为零，待收到测试样本后再进行处理。

参考链接：

2、k近邻法的三要素详解

距离度量、k值的选择及分类决策规则是k近邻法的三个基本要素。

如下图，根据欧氏距离，选择k=4个离测试实例最近的训练实例（红圈处），再根据多数表决的分类决策规则，即这4个实例多数属于“-类”，可推断测试实例为“-类”。
在这里插入图片描述参考链接：机器学习（二）：k近邻法（kNN）

2.1 距离度量

特征空间中的两个实例点的距离是两个实例点相似程度的反映。K近邻法的特征空间一般是n维实数向量空间 R n R_n Rn​。度量的距离是其他 L p L_p Lp​范式距离，一般为欧式距离。
L p ( x i , x j ) = ( ∑ l n ∣ x i ( l ) − x j ( l ) ∣ p ) 1 p (1) L_p(x_i, x_j) = (\sum_l^n|x_i^{(l)}-x_j^{(l)}|^p)^\frac{1}{p} \tag1 Lp​(xi​,xj​)=(l∑

最低0.47元/天 解锁文章
【机器学习】K近邻（KNN）算法详解
我的技术栈碎碎念空间
03-01 2万+
文章目录一、算法介绍二、距离度量三、K值的选择四、算法流程 一、算法介绍 KNN（K Near Neighbor）：k个最近的邻居，即每个样本都可以用它最接近的k个邻居来代表。KNN算法属于监督学习方式的分类算法，我的理解就是计算某给点到每个点的距离作为相似度的反馈。 简单来讲，KNN就是“近朱者赤，近墨者黑”的一种分类算法。 要区分一下聚类（如Kmeans等），KNN是监督学习分类，而Kmeans是无监督学习的聚类，聚类将无标签的数据分成不同的簇。 二、距离度量 特征连续：距离函数选用曼哈顿距离（
机器学习----K最近邻（KNN）
樱花落瓣
06-23 1019
一、什么是K近邻 K最近邻(k-Nearest Neighbour，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。 用官方的话来说，所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的...
第四章 KNN算法
最新发布
道渔的博客
10-02 1801
KNN（K-Nearest Neighbor，K近邻）算法是一种最简单且常用的监督学习算法，广泛应用于分类和回归问题。其核心思想是“”——一个数据点的类别或数值由其周围最相似的K个邻居来决定。
机器学习——K 近邻、K-NN 算法图文详解
好记性不如烂笔头
06-26 4213
K 近邻算法原理、距离度量方法、欧式距离、曼哈顿距离、切比雪夫距离、闵式距离、归一化和标准化、归一化、MinMaxScaler、标准化、StandardScaler、K 值选择问题、GridSearchCV 、分类模型评估方法、留出法、交叉验证法、KFold、分层交叉验证、StratifiedKFold、留一法、自助法、accuracy_score、分类算法评估
一、K近邻算法(K-NN，K-Nearest Neighbor Classifier )（有监督学习）
beyond谚语的博客
09-16 789
K近邻算法，k-nearest neighbor，即K-NN通俗来说：给定一个元素，然后以该元素坐标为圆心开始画圆，其中K值是超参数需要人为给定，圆的半径逐渐增大(距离度量采用欧氏距离)，直到包含其他K个元素为止，然后看所包含的K个元素都属于哪些类别，根据决策规则(采用少数服从多数原则)，看K个元素属于哪些类别多，那么x就归为哪类。应用场景：已知有两个类别绿色五边形和蓝色六边形，新加入一个橙色元素x，问x可归为哪一类？
K近邻 K-Nearest Neighbors
JasonH2021的博客
05-27 3724
本文主要简单介绍了K近邻的基本概念，优缺点，应用场景，K近邻建模的python实现方法，示例和模型的参数等。
K最近邻算法
Lucky_Pupil的博客
09-18 1062
K最近邻算法适用于找出距离A坐标最近的几个点，可以用来做推荐系统。
在Ignite中使用k-最近邻(k-NN)分类算法
weixin_33998125的博客
11-28 198
为什么80%的码农都做不了架构师？>>> ...
数据挖掘十大经典算法(8) kNN: k-nearest neighbor classification
07-15 645
邻近算法 KNN算法的决策过程　　k-Nearest Neighbor algorithm 　　右图中，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿
K-近邻算法（KNN)
热门推荐
Running Snail
03-25 6万+
​ K近邻（K-Nearest Neighbor, KNN）是一种最经典和最简单的*有监督学习*方法之一
K-近邻算法
PCGuo999的博客
07-21 2万+
学习笔记
k-Nearest Neighbor Classification
03-10
this paper, the problem of classifying an unseen pattern on the basis of its nearest neighbors in a recorded data set is addressed from the point of view of Dempster-Shafer theory. Each neighbor of a sample to be classified is considered as an item of evidence that supports certain hypotheses regarding the class membership of that pattern. The degree of support is defined as a function of the distance between the two vectors. The evidence of the k nearest neighbors is then pooled by means of Dempster's rule of combination. This approach provides a global treatment of such issues as ambiguity and distance rejection, and imperfect knowledge regarding the class membership of training patterns. The effectiveness of this classification scheme as compared to the voting and distance-weighted k-NN procedures is demonstrated using several sets of simulated and real-world data.
k近邻分类算法
05-28
k近邻算法，k Nearest Neighbor(KNN)，它的工作原理如下： 存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。当输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。
K—最近邻算法
04-20
一个KNN算法，用于数据挖掘，是数据挖掘分类技术中最简单方法之一，属于有监督的学习算法。
高维空间中的K-近邻算法：从理论到应用的前沿发展与实践
s13596191285的博客
04-13 104
然而，在高维空间中，K-近邻算法的性能受限于"维度灾难"的问题。其核心思想是，对于一个新的数据点，通过计算其与训练集中其他数据点的距离，找到与之最近的K个邻居，依靠这些邻居的类别（在分类任务中）或平均值（在回归任务中）来预测新数据点的类别或数值。然而，在高维空间中，由于数据稀疏，近邻的贡献往往不等，因此，采用加权的K-近邻算法能提高模型的准确性。本文将探讨高维空间中的K-近邻算法，重点分析其在实际应用中的挑战与解决方案，并通过案例和代码展示其在数据分类、推荐系统等领域的应用。
探索K-近邻算法（KNN）：原理、实践应用与文本分类实战
pengyi123的博客
04-06 3272
在词袋模型的基础上，引入TF-IDF（Term Frequency-Inverse Document Frequency）权重，以突出那些在特定文档中频繁出现但在整体文档集合中不常见的词语，从而增强特征表示的区分度。在学术和工业界，针对KNN算法的优化和扩展一直是研究热点，不断涌现新的研究成果和技术解决方案，以适应大数据时代对算法性能的更高要求。：如科技新闻、体育新闻、财经新闻等多类别分类，KNN同样可以应用于此，通过计算文本向量间的距离，将新闻文章分配给最接近的类别。
022、基于Java的k-近邻算法(kNN)
Code is fun.
11-11 675
k-近邻算法(k-Nearest Neighbor, kNN)是一种基础且强大的机器学习算法，它可以用于分类和回归。本文将详细介绍kNN算法的原理，并使用Java语言实现这一算法。kNN的核心思想是：对于一个待分类的数据点，我们找出训练集中离它最近的k个邻居，然后让这k个邻居进行投票，票数最多的类别就作为待分类点的类别。首先通过一个完整的Java实现来深入理解kNN算法。
机器学习实战-KNN
J的博客
12-12 597
1.KNN 概述 k-近邻（kNN, k-NearestNeighbor）算法是一种基本分类与回归方法，这里只讨论分类问题中的 k-近邻算法。 一句话总结: 近朱者赤近墨者黑！ k 近邻算法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。k 近邻算法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其 k 个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k近邻算法不具有显式的学习过程。 k 近邻算法实际上利用训练数据集对特征向量空间进行划分，并作为其
T.Cover与P.Hart的KNN算法：1967年NN分类教程
T.Cover和P.Hart的Nearest Neighbor Pattern Classification论文不仅介绍了KNN算法的基本原理，还展示了它在实际应用中的潜力，同时也揭示了如何结合其他领域的研究成果来优化算法性能。这一工作至今仍被广泛引用，...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值