2.KNN（k近邻）

最新推荐文章于 2023-03-05 22:25:47 发布
原创 最新推荐文章于 2023-03-05 22:25:47 发布 · 277 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#KNN #机器学习

本文详细介绍了KNN（k近邻）算法的基本原理及其在分类任务中的应用。主要内容包括K值的选择、距离度量方法（如欧式距离和曼哈顿距离）、分类决策方法（如多数表决法），并探讨了kd树在提高KNN效率中的作用。

KNN（k近邻）

一、KNN概述

    KNN一般是用于分类的机器学习方法

    KNN中重要的三个步骤为：
        1、K值的选择
        2、距离度量的方法
        3、分类决策的方法

二、K值的选择

    K值的选择非常重要。

    在数据中难免存在噪音点，K值选择太小，若测试点周围恰好是噪音点，就容易出现错误；
    若K值选择过大，会导致模型把与数据点偏差较大的点也考虑在内，因此要选择合适的K值

三、距离度量的方法

    点与点之间的距离度量的方法，不同的距离度量方法确定的点周围的点也是不同的。

    Lp距离度量:

    欧式距离，L2距离:

    曼哈顿距离，L1距离:

    p等于∞时:

四、分类决策的方法

    4.1 多数表决法：即判断K个相邻的点中，属于哪一类别的点的数量最多，则该测试的点就属于哪一类别。或者说多数加权表决法。

    4.2 kd树：KNN最简单的方法为一个个扫描数据集中的所有点，若数据集比较大，会比较耗时，因此可以构造kd树，kd树即为二叉树。

    kd树的构建：根据样本点的不同维度的特征对特征空间进行划分，每次划分都是选择其中一维的特征，选择中位数最邻近的点,均等对样本点划分。

    kd树的搜索：搜索的时候，根据构造的kd树上点进行搜索，若该维度的点比树上节点该维度的数值小即去左边，比其大则去右边，依次遍历到叶子节点，把叶子结点作为最近点，然后以该点为圆心，以叶子节点为半径，依次往上进行搜索，若出现结点在比现在的最近点近，则该点为最近点，并且遍历该结点的另外一个结点，若距离比该点大，则依次向上直到遍历到根节点。

五、参考文献

    李航的《统计学习方法》

机器学习笔试题汇总
Black eyes的博客
11-25 6892
文章目录树特征选择K近邻聚类深度学习分类距离、相似度指标性能评价HMM 树 1、在以下集成学习模型的调参中，哪个算法没有用到学习率learning rate？ B A.XGboost B.随机森林Random Forest C.LightGBM D.Adaboost 分析：其他三个都是基于梯度的算法，有梯度基本都有学习率，详细的可以去看看他们的更新公式。 2、在集成学习两大类策略中，boostin......
KNN.rar_K._K近邻算法_Nearest neighbour _knn_k近邻matlab实现
09-14
**K近邻算法（K-Nearest Neighbour, KNN）**是一种经典的监督学习方法，在机器学习领域中占据着重要地位。它属于懒惰学习（Lazy Learning）类别，因为KNN在训练阶段并不构建模型，而是等到预测时才计算最近邻。这个...
kd树-一个实例
qq1028850792的专栏
11-08 3845
1.实例        先以一个简单直观的实例来介绍k-d树算法。假设有6个二维数据点{（2,3），（5,4），（9,6），（4,7），（8,1），（7,2）}，数据点位于二维空间内（如图2中黑点所示）。k-d树算法就是要确定图2中这些分割空间的分割线（多维空间即为分割平面，一般为超平面）。下面就要通过一步步展示k-d树是如何确定这些分割线的。        k
机器学习之KNN算法：日撸Java三百行day51-53
.
05-05 2552
一、什么是KNN算法 K近邻（K-Nearest Neighbor, KNN），是一种最简单和最经典的有监督学习算法之一。KNN算法是最简单的分类器，可以应用于分类和回归问题。同时，它也不具备任何显式的学习过程或训练过程，属于懒惰学习（Lazy Learning）。所谓懒惰学习，类似于开卷考试，在已有数据中去找答案。虽然KNN是懒惰学习，但它的算法效果十分出色。 二、KNN算法的基本思想 以iris分类问题为例：将iris的特征数据散布在特征空间中，将每一个分类对象抽象成一个点。找到距离它最近的K
KNN
learnstudy2的博客
11-01 615
K近邻 K-nearst neighbors KNN KNN是一种基本的机器学习算法，所谓K近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的K个邻居来代表 KNN在做回归和分类的主要区别在于最后做预测的时候的决策方式不同 KNN在分类预测时，一般采用多数表决法 KNN在回归预测时，一般采用平均值法 KNN算法原理 从训练集合中获取K个离待预测样本距离最近的样本数据 根据获取得到的...
KNN算法
m0_55392122的博客
05-31 3600
K近邻 k近邻法(k-nearest neighbor, kNN)是1967年由Cover T和Hart P提出的一种基本分类与回归方法。它的工作原理是：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。
knn.rar_K._K近邻算法_knn vc
09-22
K近邻算法 (KNN) 是一种基础且重要的机器学习算法，主要用于分类任务。KNN在无监督学习中也有应用，但最常见的是作为监督学习算法。它的核心思想是“近朱者赤，近墨者黑”，即一个样本的类别由其最近邻的K个样本的...
KNN.zip_K._K近邻算法_k近邻_分类算法
09-24
**K近邻算法（K-Nearest Neighbors, KNN）**是机器学习领域中最基础且重要的算法之一，尤其在分类任务中应用广泛。它基于一个简单直观的原理：一个未知样本的类别可以通过其最接近的K个已知类别的样本进行预测，这K...
knn.rar_K._k近邻
09-19
k近邻（K-Nearest Neighbors，简称KNN）是一种简单而强大的监督学习算法，广泛应用于分类和回归问题。这个“knn.rar_K._k近邻”压缩包中的内容可能包含了一个关于KNN算法的实际应用示例，特别是针对一个包含8个采样...
kNNregression.rar_K._K近邻算法_knn regression_knnregression_k近邻回归
07-14
k近邻（k-Nearest Neighbors，简称kNN）算法是一种基础且广泛应用的监督学习方法，主要用于分类和回归任务。在这个压缩包“kNNregression.rar”中，重点是探讨kNN算法在回归问题上的应用，即kNN回归（kNN Regression...
【机器学习】KNN算法及K值的选取
weixin_46564151的博客
03-05 9852
KNN算法及K值的选取
K邻近法
leo的博客
03-30 626
算法思想 从训练集中找出k个最接近测试对象的训练对象，再从k个对象中确定主导类别，将此类别赋给测试对象。 假设训练对象有n个属性，每个对象由n维空间的一个点表示，则真个训练集处于n维空间中，每当给定一个测试对象c我们计算c到训练对象的距离，找到最接近c的k个对象。然后c指派到最近邻中数量最多的类。 特别的，当K=1时，测试对象c会被指派到与它最近的训练对象所属的类。 关键要素 使用k近邻法需要考虑...
K近邻(KNN)算法总结
Elben_Expect的博客
03-28 2414
1.KNN算法原理 KNN算法是选择与输入样本在特征空间内最近邻的k个训练样本并根据一定的决策规则给出输出结果。 决策规则: 分类任务：输出结果为k个训练样本中占大多数的类 回归任务：输出结果为k个训练样本值的平均值 如下图的分类任务，输出结果为w1类。 2.KNN算法三要素 K值的选择、距离度量和分类决策规则是K近邻算法的三个基本要素。 分类决策规则： KNN算法一般是用多数表决方法，即由输入...
KNN笔记
qq_14993591的博客
09-15 516
KNN（K-近邻） 核心思想 算法原理 KD树 KNN面试题
机器学习算法----KNN K邻近 (K值的选择) (学习笔记)
深度不学习！！的博客
04-07 1万+
文章目录KNN简介算法原理K值选择距离的计算学习参考 今天整理一下KNN的笔记，这个算法比较简单，没什么太多的东西。 我刚才看到一个视频教程，里面的老师说KNN是一个聚类算法，我疑惑了一秒，然后出去确认了一下他讲错了，KNN是分类算法，分类和聚类在数据上都是有本质区别的，可以在我整理聚类的那篇学习笔记里看到聚类和分类的区别。 各种聚类笔记 支持向量机SVM笔记 决策树与随机森林笔记 KNN简介 KNN的全称是K Nearest Neighbors。意思是K个最近的邻居。 KNN是有监督学习，K-Mean
K近邻算法(KNN)原理整理小结
dongbao520的博客
06-28 3256
K近邻法(k-nearest neighbors,KNN)是一种很基本的机器学习方法了，在我们平常的生活中也会不自主的应用。比如，我们判断一个人的人品，只需要观察他来往最密切的几个人的人品好坏就可以得出了。这里就运用了KNN的思想。KNN方法既可以做分类，也可以做回归，这点和决策树算法相同。KNN算法是选择与输入样本在特征空间内最近邻的k个训练样本并根据一定的决策规则，给出输出结果 。KNN算法是很基本的机器学习算法了，它非常容易学习，在维度很高的时候也有很好的分类效率，因此运用也很广泛。决策规则：....
机器学习-K邻域法（k-NN）
zfjBIT的专栏
12-07 6301
1. KNN简介       该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。你可以简单的理解为由那离自己最近的K个点来投票决定待分类数据归为哪一类。       kNN是一种基本分类与回归方法。       KNN算法的过程为:       选择一种距离计算方式, 通过数据所有的特征计算新数据与已知类别数据...
社区发现之谱聚类算法的实现
just_so_so_fnc的博客
07-07 1661
#谱聚类算法实现 #1、计算距离矩阵(欧氏距离，作为相似度矩阵) #2、利用KNN计算邻接矩阵A #3、由邻接矩阵计算都矩阵D和拉普拉斯矩阵L #4、标准化拉普拉斯矩阵 #5、对拉普拉斯矩阵进行特征值分解得到特征向量 #6、对特征向量进行K-means聚类 #7、得到分类结果 import numpy as np #距离矩阵的计算 def euclidDistance(x1, x2, sqrt_flag=False): res = np.sum((x1-x2)**2) if sqrt..
KNN算法详解
热门推荐
zsmjqtmd的博客
04-15 2万+
title: “KNN算法详解” date: 2022-01-01T11:20:23+08:00 lastmod: 2022-01-01T13:20:23+08:00 draft: false tags: [“机器学习”, “KNN”, ‘KD树’] categories: [“机器学习”] author: “玉面蟾蜍” KNN算法详解 KNN算法是一种非参数分类算法(不需要训练参数)，隶属于有监督学习，其核心思想为：“近朱者赤近墨者黑” 定义 KNN（K- Nearest Neighbor）法即K最邻.
头歌机器学习knn算法答案 1.knn算法简述 2.knn算法模型 3.knn算法详解：实现knn算法 4.knn算法案例：基于knn算法模型的应用
最新发布
11-19
### 算法简述 k - 近邻（kNN）算法是一种基本的分类与回归方法。其核心思想是给定一个训练数据集，对于新的输入实例，在训练数据集中找到与该实例最邻近的 k 个实例，然后根据这 k 个实例的类别来决定新实例的类别（分类问题）或预测值（回归问题）。它基于“近朱者赤，近墨者黑”的简单理念，即一个样本的类别往往与其周围邻居的类别相似。 ### 算法模型 kNN 算法没有显式的模型训练过程，它是一种基于实例的学习方法，也被称为“懒惰学习”。其模型就是整个训练数据集本身。在进行预测时，它会计算新样本与训练数据集中所有样本的距离（常用的距离度量有欧氏距离、曼哈顿距离等），然后选取距离最近的 k 个样本。对于分类问题，通过多数表决的方式确定新样本的类别；对于回归问题，则取这 k 个样本的目标值的平均值作为新样本的预测值。 ### 算法实现 以下是使用 Python 的`sklearn`库实现 kNN 分类算法的代码示例，与引用[1]中的代码类似： ```python from sklearn.neighbors import KNeighborsClassifier def classification(train_feature, train_label, test_feature): ''' 使用KNeighborsClassifier对test_feature进行分类 :param train_feature: 训练集数据 :param train_label: 训练集标签 :param test_feature: 测试集数据 :return: 测试集预测结果 ''' # 创建KNeighborsClassifier分类器实例 knn = KNeighborsClassifier() # 使用训练集数据和标签进行模型训练 knn.fit(train_feature, train_label) # 对测试集数据进行预测 predictions = knn.predict(test_feature) return predictions ``` ### 算法应用案例 - **手写数字识别**：在手写数字识别任务中，每个手写数字图像可以被表示为一个特征向量。通过 kNN 算法，可以根据训练集中已知数字图像的特征向量，对新的手写数字图像进行分类，判断它是 0 - 9 中的哪个数字。 - **疾病诊断**：在医学领域，患者的各项生理指标（如血压、血糖、心率等）可以作为特征向量。利用 kNN 算法，可以根据已有的患者病例数据，对新患者是否患有某种疾病进行诊断。 - **电影推荐**：在电影推荐系统中，用户对不同电影的评分可以构成特征向量。通过 kNN 算法找到与目标用户兴趣相似的其他用户，然后根据这些相似用户喜欢的电影为目标用户进行推荐。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值