K-近邻(KNN)分类器（一）

最新推荐文章于 2025-03-24 15:55:06 发布
最新推荐文章于 2025-03-24 15:55:06 发布
阅读量1.2k 收藏 3
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习 python 分类算法 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/flying_whale1/article/details/108813717
版权
本文详细介绍K-近邻算法的原理与应用，包括算法流程、实现步骤、优缺点及适用范围。通过实例分析，展示如何利用K-近邻算法进行分类预测。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

前言

自此开始机器学习篇，先从最简单的分类器——K-近邻分类器开始

正文

算法流程

K-近邻算法伪代码如下，
对未知类别属性的数据集中的每个点依次执行以下操作：
(1) 计算已知类别数据集中的点与当前点之间的距离；
(2) 按照距离递增次序排序；
(3) 选取与当前点距离最小的k个点；
(4) 确定前k个点所在类别的出现频率；
(5) 返回前k个点出现频率最高的类别作为当前点的预测分类。

实现流程

(1) 收集数据：可以使用任何方法。
(2) 准备数据：距离计算所需要的数值，最好是结构化的数据格式。
(3) 分析数据：可以使用任何方法。
(4) 测试算法：计算错误率。
(5) 使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输 入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理

优缺点

优点：精度高、对异常值不敏感、无数据输入假定。
缺点：计算复杂度高、空间复杂度高。
适用数据范围：数值型和标称型。

例题

我的朋友海伦一直使用在线约会网站寻找适合自己的约会对象。尽管约会网站会推荐不同的 人选，但她并不是喜欢每一个人。经过一番总结，她发现曾交往过三种类型的人： 不喜欢的人 、 魅力一般的人 、极具魅力的人 ，在数据中分别用1、2、3表示。
海伦收集约会数据已经有了一段时间，她把这些数据存放在文本文件datingTestSet.txt中。海伦的样本主要包含以下3种特征： 每年获得的飞行常客里程数 、玩视频游戏所耗时间百分比 、 每周消费的冰淇淋公升数 。试帮助海伦分类出新约会的人所属类型。

数据
每年获得的飞行常客里程数每周消费的冰淇淋公升数玩视频游戏所耗时间百分比类别
409208.3269760.9539523
144887.1534691.6739042
260521.4418710.8051241
7513613.1473940.4289641
383441.6697880.1342961
7299310.1417401.0329551
359486.8307921.2131923
4266613.2763690.5438803
674978.6315770.7492781
3548312.2731691.5080533
实现要点

（1）求不同人的特征的欧式距离
（2）使用最大最小标准化将数据归一化处理
（3）正确实现KNN算法过程
（4）可用混淆矩阵和准确率来评估模型最后的预测效果
（5）可随机地选择一定比例的训练集和测试集

预测结果
选择K=4，随机抽取70%作为训练集，30%作为测试集，最终对测试集预测类别，并计算准确率和混淆矩阵作为评估
/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZseWluZ193aGFsZTE=,size_16,color_FFFFFF,t_70#pic_center)
代码链接

K-近邻分类器
weixin_50735831的博客
05-17 1052
目录 1.KNN的工作原理 2.简单示例 3.K值的选取 4.距离度量 5.KNN的特点 6.KNN的优势和缺点 7.KNN的适用场景 1.KNN的工作原理 所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。KNN算法的核心思想是如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样...
分类算法：K-近邻(KNN)算法及其优化
kkchenjj的博客
07-14 1205
K-近邻算法(K-Nearest Neighbors, KNN)是一种基于实例的学习方法，用于分类和回归。
最近邻分类器，K近邻分类器，线性分类器
weixin_30333885的博客
05-29 887
转自：https://blog.youkuaiyun.com/oldmao_2001/article/details/90665515 最近邻分类器： 　　通俗来讲，计算测试样本与所有样本的距离，将测试样本归为距离最近的样本类。 　 K近邻分类器： 　　计算测试样本与K个最近样本的距离，将测试样本归为K个样本中相同类别个数较多的一类。 　　L1距离与L2距离的区别： 　　 　　...
基于K近邻算法（KNN）的分类器实现
最新发布
HeaViolet的博客
03-24 1064
K近邻算法（K-Nearest Neighbors, KNN）是一种简单而有效的监督学习算法，常用于分类和回归任务。如果一个样本在特征空间中的K个最相似的样本中的大多数属于某一个类别，则该样本也属于这个类别。通过本次实验，我们实现了基于KNN算法的分类器，并对约会网站的数据进行了分类。KNN算法简单易懂，但在实际应用中需要注意数据预处理和参数选择。未来可以尝试将该算法应用于其他数据集，并与其他分类算法进行对比分析。
机器学习入门第四章：K最近邻分类器
linjingyg的博客
01-20 953
　　监督学习中的第四个也是最后一个基本分类器！ K个最近的邻居。 在本文中，我们将讨论K最近邻分类器的工作，三种用于选择邻居的不同基础算法以及python sklearn库的一部分代码片段。 如果您尚未阅读以下文章的前一篇： 　　朴素贝叶斯SVM（支持向量）决策树 　　我建议您在此之前先完成它。 （尽管这与那三个独立） 　　 　　When a computer gets virus. 　　简而言之， 　　一个对象按其邻居的多数投票进行分类，该对象被分配给其最接近的k个邻居中最常见的类...
机器学习算法应用——K近邻分类器（KNN）
weixin_66547608的博客
05-10 1352
机器学习算法应用——K近邻分类器（KNN）
K近邻算法--电影分类实例
尚未佩妥剑 转眼便江湖
02-21 2724
简介 算法的基本原理：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似...
knn.rar_k-means matlab_k-nearest neighbor _k-近邻法分类器_knn matlab_m
09-19
《k-近邻法分类器在MATLAB中的实现与应用》 k-近邻法（k-Nearest Neighbor，简称k-NN）是一种基于实例的学习方法，属于监督学习的范畴，广泛应用于分类任务中。其核心思想是：给定一个未知类别的数据点，我们通过...
机器学习：K-近邻算法（KNN）及其应用案例
10-11
在示例代码中，首先加载数据集并进行训练测试集的划分，然后创建KNN分类器实例，使用fit方法训练模型，通过predict方法对新样本进行预测，最后利用score方法计算模型在测试集上的准确率。 KNN算法适用于多种场景，...
k-近邻算法（KNN）
02-27
# 创建KNN分类器 knn = KNeighborsClassifier(n_neighbors=3) # 训练模型 knn.fit(X_train, y_train) # 预测 predictions = knn.predict(X_test) # 评估模型 accuracy = knn.score(X_test, y_test) ``` 在这个...
K-近邻分类器，python实现
12-28
用python实现k-近邻分类，包括约会网站配对效果和手写体识别。
k近邻算法matlab实现
02-17
k 近邻算法的Matlab实现源码，欢迎下载，相互交流和学习1
数据挖掘学习--k-近邻分类器（最近邻分类器）
m0_37860003的博客
07-18 7291
1.k-近邻分类器 k-近邻算法是一种最简单的数据挖掘算法，在平时使用中也很常见。k-近邻中的近邻指的是距离待预测数据的数据点，而k-近邻就指的是取前k近的数据点，例如3-近邻算法就是找到3个离待预测数据作为最近邻。k-近邻算法是一种监督学习的算法（即原本的数据集中是分类明确的）。 2.k-近邻分类器的原理 最近邻分类器把每个样例（训练数据、测试数据同时也有待预测的数据）当作是d维空间上的一个数据...
ML——K近邻分类器（KNN）
qq_39000526的博客
11-06 1218
KNN，属于监督学习的一种方法。 KNN是用于分类和回归的非参数统计方法，直接点说就是数据统计 KNN分类中，输出是一个分类族群。就像下边例子，一个对象的分类是由其邻居的最多的类别决定。如果k=1，则它的类别是直接由最近的一个点决定的。 KNN回归中，输出的是该对象的属性值。该值是其k个最近邻居的值的平均值。 训练样本是多维特征空间向量，每个样本都带有分类标签。训练阶段只包含存储的特征向量和训练样本的标签。 分类阶段，k是用户定义的常数，被预测的没有类别的标签向量（测试点）将被归类为最接近该点的k个样本点中
k-近邻算法：测试分类器
qq_51667621的博客
09-29 517
一、准备：使用Python导入数据 1.首先，创建名为KN.py的Python模块，在文件中编写一些基本的通用函数，导入两个模块：一个是科学计算包Numpy，一个是运算符模块。代码如下： from numpy import * import operator from os import listdir def createDataSet(): group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) labels = ['A','A','B',
K-近邻算法（KNN)
热门推荐
Running Snail
03-25 6万+
​ K近邻（K-Nearest Neighbor, KNN）是一种最经典和最简单的*有监督学习*方法之一
KNN(K最近邻)算法
全栈开发的博客
07-31 996
简单直观：KNN算法思想简单，易于理解和实现。无需显式训练：KNN算法没有显式的训练过程，可以直接使用训练数据进行预测。适合多分类问题：KNN算法可以处理多分类问题，且对于未知类别样本也能做出预测。对异常值不敏感：由于KNN算法是基于局部信息的，因此对训练数据中的异常值或噪声点不敏感。
深入理解机器学习——k近邻（kNN，k-Nearest Neighbor）算法：基础知识
冯·诺依曼
11-06 1万+
k近邻（k-Nearest Neighbor，kNN）算法是一种常用的监督学习方法，其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其最靠近的kkk个训练样本，然后基于这kkk个“邻居”的信息来进行预测。通常，在分类任务中可使用“投票法”，即选择这kkk个样本中出现最多的类别标记作为预测结果；在回归任务中可使用“平均法”，即将这kkk个样本的实值输出标记的平均值作为预测结果；还可基于距离远近进行加权平均或加权投票，距离越近的样本权重越大。 与前面介绍的学习方法相比，k近邻学习有一个明显的不同
k-近邻算法实现分类器
Cumu Blog
11-30 4926
k-近邻算法介绍 k-近邻算法（kNN）是采用测试不同特征值之间的距离方法进行分类。工作原理：存在一个样本数据集（训练样本集），并且样本集中每组数据都存在分类标签，当输入没有标签的新数据后，将新数据的每个特征与样本集中的数据对应特征进行比较，然后算法提取样本集中特征最相似数据的前K个（最近邻）的分类标签，行啊unzek个最相似数据中出现次数最多的分类，作为新数据的分类。我们距离的计算一般用欧氏距
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值