监督学习：k近邻（kNN）

最新推荐文章于 2024-03-12 21:10:27 发布

原创

最新推荐文章于 2024-03-12 21:10:27 发布 · 2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #人工智能

本文介绍了k近邻(kNN)算法的基本思想，包括使用训练集中的k个最近邻进行分类决策。讨论了距离度量、k值选择对结果的影响，并强调了特征归一化的重要性，如线性函数归一化和零均值归一化，以提高模型精度和收敛速度。

概述

k近邻是一种简单的分类、回归方法，于1968年提出。这里简要介绍k近邻的思想。

一、k近邻的思想

给定一个打好标签的训练集，对一个新的样本 $x$ ，在训练集中找到离 $x$ 最近的k个邻居样本，这k个样本中多数属于的那个类就作为 $x$ 的类。

k近邻这种多数表决的思想并么有一个显式的学习过程。而且k近邻只是简单地对训练数据进行了“记忆”，基于训练集对特征空间进行划分，属于非泛化的机器学习方法。

这里给出一个二维空间下，k=3的分类例子：

训练数据集里共有红色和蓝色两类样本，当要给一个未知的样本（绿色星星）进行分类时，选取特征空间中离它最近的三个样本，即两个红色样本和一个蓝色样本，少数服从多数，这个未知样本就被归类为红色。

二、影响k近邻结果的因素

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

没头脑的无痛学习记录

关注关注

3
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

机器学习之监督学习-分类模型K近邻(KNN)算法实现

nuist_NJUPT的博客

12-04

2639

机器学习之监督学习-分类模型K近邻(KNN)算法实现 监督学习中常用的分类分类模型有k近邻，逻辑斯谛回归，决策树。今天我们主要学习，K近邻模型。最简单，最初级的分类器就是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以进行分类。 K近邻(KNN) K近邻是一种基本分类方法，通过测量不同特征值之间的距离进行分类，它的思路是：如果一个样本在特征有k个最相似的大多数属于某一类别，则该样本也属于某一类别，其中K通常是不大于20的整数，KNN算法中所选择的邻居都是已经正

Python机器学习实战：K近邻(KNN)算法的工作原理和应用

AI天才研究院

08-02

477

Python机器学习实战：K-近邻(KNN)算法的工作原理和应用 1. 背景介绍 1.1 问题的由来在现代数据密集型时代，机器学习已经成为各行各业不可或缺的核心技术。无论是推荐系统、图像识别还是自然语言处理,机器学

参与评论您还未登录，请先登录后发表或查看评论

[监督学习] 分类（K近邻算法）

ZhuNian的学习乐园

04-08

6295

监督学习框架：思维导图-python. KNN算法运用一：KNN算法的概述二：KNN算法的过程三：关于距离的计算四：关于Ｋ值的选取 Python 实现过程一：案例一测试二：案例二测试三：交叉验证确定最佳-K值

机器学习算法（三）---K近邻

u012121721的博客

08-09

567

K近邻算法（K-Nearest Neighbors，KNN）是一种基于实例的监督学习算法，用于分类和回归问题。其基本思想是根据样本之间的距离度量（如欧几里得距离），将待分类样本归类为其邻近K个样本中出现频率最高的类别。KNN不需要显式的训练过程，而是将所有训练数据存储在内存中，预测时根据距离计算进行分类或回归。该算法简单易懂，但在大规模数据集上计算开销较大，且对噪声敏感。

监督学习-k近邻法

曼曼的博客

10-13

346

监督学习(二)——K近邻(K-NN)

监督学习-KNN最邻近分类算法

weixin_30445169的博客

08-20

285

分类（Classification）指的是从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术建立分类模型，从而对没有分类的数据进行分类的分析方法。分类问题的应用场景：用于将事物打上一个标签，通常结果为离散值。例如判断一副图片上的动物是一只猫还是一只狗，分类通常是建立在回归之上。基本的分类方法—KNN最邻近分类算法，简称KNN，是最简单的机器学习算法之一。核心逻...

机器学习：K-近邻算法（KNN）及其应用案例

最新发布

10-11

K-近邻算法（KNN）是一种简单直观的机器学习算法，属于监督学习的范畴。它的工作原理是，在给定一个新的输入样本时，算法会在训练数据集中找到与该样本最接近的K个样本，根据这些样本的标签来预测新样本的标签。这种...

机器学习算法KNN（K近邻）应用实例——实现对是否患糖尿病的预测

05-06

机器学习算法KNN（K近邻）应用实例使用KNN（K近邻）算法对是否容易得糖尿病问题进行预测。资源中包括完成的KNN算法训练和实现过程，以及用于机器学习的糖尿病数据集。数据特征包括： Pregnancies：怀孕次数 ...

机器学习算法其二：KNN（k近邻）算法学习总结

weixin_74182458的博客

03-12

2830

KNN 算法，或者称 k-最近邻算法，是有监督学习中的分类算法。它可以用于分类或回归问题，但它通常用作分类算法。简单的来说就是近朱者赤近墨者黑。举个简单例子：如图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。其中K为圆的半径，当K在不断变化过程中，圆内分布的种类占比决定了预测点的种类。k近邻方法是一种惰性学习算法，可以用于回归和分类。

机器学习5：KNN

matafeiyanll的博客

02-02

326

机器学习5：KNN KNN 原理为了判断未知实例的类别，以所有已知类别的实例作为参照选择参数K 计算未知实例与所有已知实例的距离选择最近K个已知实例根据少数服从多数的投票法则(majority-voting)，让未知实例归类为K个最邻近样本中最多数的类别算法缺点算法实现 Iris数据集手工实现 # 导入算法包以及数据集 import numpy as np from sklea...

机器学习-监督学习之分类算法：K近邻法（K-Nearest Neighbor,KNN）

TI__boyue的博客

07-09

1651

目录KNN概述举个例子：K值选取距离计算曼哈顿距离，切比雪夫距离关系（相互转化）传送门 KNN概述 k近邻法(k-nearest neighbor, k-NN)是一种基本分类方法。它的工作原理是：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后通过算法提取样本最相似数据(最近邻)的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就

学习k近邻

qq_43477218的博客

09-01

460

K近邻（KNN） k近邻（k-nearest neighbor）可以做分类也可以做回归任务。 k近邻的基本描述：选择预测点周围距离最近的k个点，通过这几个点的特征按照某种规则来预测预测点。从上述描述中可以看出在k近邻中决定某个点的值有三个要素： k值的选择距离的度量分类决策的规则分类决策的规则（学习的策略）这里介绍一种分类决策的规则：多数表决制多数表决制：在训练数据集中找到与该实例最近邻的k个实例，这k个实例多数属于某个类，就把该输入实例分为这个类。分类决策的算法：输入：训练数据集

k邻近法(KNN)

Wisimer

04-25

615

一、前言 k-近邻算法（kNN，k-NearestNeighbor），是一种监督分类算法，是最简单的机器学习分类算法之一。其核心思想在于用距离目标最近的 k 个样本数据的分类来代表目标的分类（这k个样本数据和目标数据最为相似）。kNN 是一种惰性学习方法。 k-近邻算法的缺点是对数据的局部结构非常敏感。二、算法描述 1. 具体算法过程：（1）. 计算分类未知数据 x_new 与训练样本集数据 ...

机器学习基础自学笔记——k邻近算法

m0_61787307的博客

03-13

694

关于k邻近算法的详细介绍十分简单的引入：点(小黑点)和每一个已分类点（各种颜色的圆）的距离，并进行排序，选出其中k个距离最近的圆，再进行投票。 KNN算法在分类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数，如下图所示。这个统计的过程就是一个投票的过程。或许你并没有觉得这种方法简化了计算，但事实上，对于一个巨大的数据集，如果能够少遍历一棵子树，将会带来巨大的简便，只不过，这种情况是有概率性出现的。

KNN(k-nearest neighbor的缩写)最近邻算法原理详解

热门推荐

春华秋实

08-24

9万+

k-最近邻算法是基于实例的学习方法中最基本的，先介绍基于实例学习的相关概念。基于实例的学习已知一系列的训练样例，很多学习方法为目标函数建立起明确的一般化描述；但与此不同，基于实例的学习方法只是简单地把训练样例存储起来。从这些实例中泛化的工作被推迟到必须分类新的实例时。每当学习器遇到一个新的查询实例，它分析这个新实例与以前存储的实例的关系，并据此把一个目标函数值赋给新实例。基于实例的...

KNN(邻近算法)

冷锋的博客

10-21

2万+

一、什么是KNN 1、概念： KNN（K-NearesNeighbor）即K邻近法，是一个理论上比较成熟的、也是最简单的机器学习算法之一。 2、核心思想一个样本与数据集中的k个样本最相似，如果这k个样本中的大多数属于某一个类别，则该样本也属于这个类别。也就是说，该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。KNN方法在类别决策时，只与极少量的相邻样本有关。 3、KNN算法步骤 3.1、计算距离给定两个样本和，其中n表示特征数，X和Y两个向量间的欧

统计学习方法阅读笔记:k近邻法

Collin的专栏

07-06

1775

k近邻法由Cover和Hart在1968年提出，是一种基本的分类与回归方法。k近邻法的输入是实例的特征向量，对应于特征空间中的点，输出为实例的类别，可取多值(此前介绍的感知机模型只是线性二类分类模型）。k-nearest neighbours(kNN)的基本思想是：在训练集中寻找k个与新的输入实例最接近的实例，构成一个k邻域，并将测试实例归于这个集合中占最大优势的类别。k近邻法中的几个关键要素是：

K-近邻算法讲解

weixin_43264420的博客

04-20

1504

概述：给定一个训练数据集，对新的输入实例，在训练数据据集中找到与该实例最近邻的K个实例，这K个实例的多数属于某个类，就把该实例分为这个类 K近邻算法的三要素： 1、K值的选择 2、距离的度量 3、分类决策规则注：K近邻算法中，当训练集、距离度量、K值、及分类决策规则确定后，对于一个新的输入实例，其输出的所属类别也就确定了 K值的选择： K值的选择对K近邻算法有重大的影响，如果K值较小，就会使“...

机器学习之kNN算法

SCUhzs

04-02

2326

文章目录一、概述1.1 KNN简介1.2 补充1.3 何时使用KNN？二、算法思想2.1 判断电影类别2.2 判断点的类别三、建模流程四、算法描述4.1 基本流程4.2 注意要点4.3 K的取值4.4 距离的选取4.5 KNN回归5.总结5.1 kNN的缺点6.kNN算法的实现及其实战6.1 判断点是哪个类别6.2 约会网站配对6.3 手写识别案例6.3 手写识别案例6.4 识别鸢尾花一、概述 ...