机器学习——KNN（K-nearst Neighbor）

已于 2022-11-13 22:41:49 修改
阅读量519 收藏 1
点赞数 4
分类专栏： 机器学习 文章标签： 人工智能 算法
于 2022-11-07 22:01:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_44425969/article/details/127709052
版权

距离计算公式

        常用的距离计算方法有欧式距离和曼哈顿距离两种，公式下所示：

        欧氏距离：D(A,B)=\sqrt{(a_{1}-b_{1})^{2}+(a_{2}-b_{2})^{2}+...+(a_{n}-b_{n})^{2}}

        曼哈顿距离：D(A,B)=\left | a_{1}-b_{1} \right |+\left | a_{2}-b_{2} \right |+...+\left | a_{n}-b_{n} \right |

KNN

模型原理

        KNN首先需要“记忆”所有的训练数据，这也可以看做模型的训练过程。由于只需要“记忆”而不需要参数调整，KNN的训练速度非常快。

        KNN的预测方法是找出K个与待测样本距离相近的训练样本ÿ

最低0.47元/天 解锁文章
机器学习笔记——KNN（K-Nearest Neighbors，K 近邻算法）
haopinglianlian的博客
11-17 1847
本笔记介绍机器学习中的 KNN（K-Nearest Neighbors，K 近邻算法）
【机器学习】k近邻（k-nearest neighbor ）算法
专注人工智能，主攻CV
03-20 1137
k近邻（k-nearest neighbors，KNN）算法是一种基本的监督学习算法，用于分类和回归问题。k值的选择、距离度量及分类决策规则是k近邻法的三个基本要素。
KNN算法优缺点、原理及参数最优解
qq_42546127的博客
11-28 1万+
​ KNN算法 KNN算法简介 简单地说，K-近邻算法采用测量不同特征值之间的距离方法进行分类（k-Nearest Neighbor，KNN） 优缺点： 优点：精度高、对异常值不敏感、无数据输入假定。 缺点：时间复杂度高、空间复杂度高。 当样本不平衡时，比如一个类的样本容量很大，其他类的样本容量很小，输入一个样本的时候，K个临近值中大多数都是大样本容量的那个类，这时可能就会导致...
纯numpy手写KNN算法（速度较快）
weixin_39671140的博客
10-23 1146
经过优化，速度较快，性能瓶颈在于：训练数据跟预测数据求欧氏距离时，求两者之差的numpy矩阵运算部分，占用了大概70%的运行时间。 代码如下，安装使用tqdm库可看到执行进度条，可不用。 from tqdm import tqdm import numpy as np #KNN ( X_test.shape: (n_samples,n_features) ) def KNN_classifier(k, X_train, y_train, X_test) -> np.array: tra
如何利用MapReduce的分治策略提高KNN算法的运行速度
什么最重要？算法！！
07-17 5512
集群环境介绍：hadoop2.4.1 64位 6台服务器： hadoop11 NameNode 、SecondaryNameNode hadoop22 ResourceManager hadoop33 DataNode、NodeManager hadoop44 DataNode、NodeManager hadoop55 DataNode、NodeManager hadoop66
机器学习 | 算法笔记- k近邻（KNN）
weixin_30834019的博客
03-10 221
前言 本系列为机器学习算法的总结和归纳，目的为了清晰阐述算法原理，同时附带上手代码实例，便于理解。 目录 　　k近邻（KNN） 　　决策树 　　线性回归 　　逻辑斯蒂回归 　　朴素贝叶斯 　　支持向量机（SVM） 　　组合算法（Ensemble Method） 　　K-Means 　　机器学习算法总结 本章为k近邻算法，内容包括模型介绍及代码实现（包括自主实现和skl...
从零开始实现KNN分类算法
风雪夜归子
10-17 4919
K近邻分类算法 (K-Nearest Neighbor)KNN分类算法非常简单，该算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别。该方法在确定分类决策上只依据最邻近K个样本的类别来决定待分样本所属的类别。KNN是一个懒惰算法，也就是说在平时不好好学习，考试（对测试样本分类）时才临阵发力（临时去找k个近邻），因此在预测的时候速度比较慢。KNN
机器学习最简单算法——KNN算法（k-Nearest Neighbor）.md
10-18
机器学习算法-KNN最近邻，文章介绍机器学习入门基础，包括有监督、无监督、强学习等，介绍KNN算法原理。
机器学习最简单算法——KNN算法（K-Nearest Neighbor）
晓海的博客
10-19 4027
机器学习最简单算法——KNN算法（k-Nearest Neighbor） 一、学习算法 二、KNN算法（k-Nearest Neighbor） 三 、sklearn算法库(scikit-learn) 四、学习曲线 五、交叉验证 六、归一化 七、距离惩罚 八、KNN模型评价 九、模型的追求 一、学习算法 机器学习的方法是基于数据产生的"模型"（model）的算法，也称"学习算法"（learning ...
【机器学习】6：K-近邻（KNN）算法实现手写数字识别
zzZ_CMing的博客
12-30 4万+
没人会看的开场白：本来觉得自己从数据建模转人工智能方向应该问题不大（自我感觉自己算法学的不错）。结果一个K-邻近实现手写数字识别的代码就让我改了三四天。虽然网上这方面的代码是很多，但是我运行了好几个，结果都不是很理想。一次偶然的念想——为什么我不把这些代码的优点结合在一起呢，于是说做就做，年轻人嘛，反正有时间燥起来，再加上自己准备的毕业论文也是这个，动动手总有益处，于是就拙笔于此，有更好的建议与意见
机器学习——k近邻（KNN算法）工作原理、代码实现详解
AI~天海的博客
05-16 4814
机器学习——k近邻（KNN算法）工作原理、欧式距离、代码实现详解
knn scikit_使knn的速度比scikit在20行中学习的速度快300倍
weixin_26756255的博客
09-07 1247
knn scikit 介绍 (Introduction) k Nearest Neighbors (kNN) is a simple ML algorithm for classification and regression. Scikit-learn features both versions with a very simple API, making it popular in mach...
可解释机器学习 Task06 -LIME可解释性分析
Insistence0807的博客
12-24 1055
本文对于LIME算法进行了简介。
KNN算法简述
Lx85416281的专栏
10-31 2万+
一、kNN概念描述 kNN算法又称为k最近邻(k-nearest neighbor classification)分类算法。所谓的k最近邻，就是指最接近的k个邻居（数据），即每个样本都可以由它的K个邻居来表达。 kNN算法的核心思想是，在一个含未知样本的空间，可以根据离这个样本最邻近的k个样本的数据类型来确定样本的数据类型。       该算法涉及3个主要因素：训练集、距离与相
Pytorch和Tensorflow在相同数据规模规模下的KNN(K-NearestNeighbor)算法中的运算速度对比
m0_47529410的博客
02-08 787
Pytorch和Tensorflow在相同数据规模规模下的降维KNN(K-NearestNeighbor)算法中的运算速度对比 今天介绍一下比较简单的机器学习算法KNN算法。它最初由 Cover和Hart于1968年提出，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。 KNN算法基本原理 该方法的思路非常简单直观：离已知的某一个类中的所有点的平均距离距离最小的，就将这个点归为该类。 该方法的不足之处是计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，会占用很大的时间与内存。 K
KNN算法中常用的距离计算公式
热门推荐
sanqima的专栏
04-28 4万+
KNN，英文全称为K-nearst neighbor，中文名称为K近邻算法，它是由Cover和Hart在1968年提出来的。 　　KNN算法流程： 　　输入：训练数据集　　 T=(x1,y1),(x2,y2),...,(xN,yN)T={(x_1,y_1),(x_2,y_2),...,(x_N,y_N)} 　　其中，xi∈X⊆Rnx_i \in \mathcal{X} \subseteq R
02_02 python机器学习_第二章监督学习_K邻近(K-NN)
辛欣的博客
05-19 456
python机器学习_第二章学习内容整理_K邻近(K-NN) 01 概念 我的理解: 将一块磁铁放在一堆分散的不同颜色的铁块中, 算法中的参数用于设定磁铁可以吸附铁块的个数,肯定是从最近位置的铁块开始吸引. 当参数为1时,只吸引一个铁块,因此这个铁块是什么颜色, 那么这块磁铁就标记成什么颜色. 当参数为N时,会吸附N个铁块, 不同颜色的铁块都会吸附过来,以最多颜色的铁块来标记磁铁的颜色. 磁铁就好比新数据, 铁块就好建模用的数据样本. K邻近算法使用建议: 对于复杂模型产生的数据,应当使K尽量小, 因为复杂
调参小技巧-KNN算法K值图像选取法
宋建国的博客
05-10 4213
# 导入第三方模块 import numpy as np from sklearn import neighbors import matplotlib.pyplot as plt def KNN_valuechoise(X_tain, y_train, K_num): # 设置待测试的不同k值 # K = np.arange(1,np.ceil(np.log2(Knowledge...
头歌机器学习——knn算法
最新发布
03-11
### KNN算法在机器学习中的实现与应用 #### 一、KNN算法简介 K近邻(K-Nearest Neighbor, KNN)是一种基本分类与回归方法。该算法的核心思想在于通过计算待测样本与训练集中各个样本的距离，选取距离最小的前K个邻居，并依据这些邻居的信息来进行决策。对于分类问题而言，则是根据多数表决原则决定新实例所属类别；而对于回归问题来说，则通常采用这K个最接近的数据点的目标属性平均值作为预测结果。 #### 二、R语言下的具体实践案例 针对鸢尾花数据集的应用展示了如何利用基础函数完成整个流程而无需依赖额外包的支持[^2]。在这个例子中，通过对不同特征维度间欧氏距离或其他度量方式的选择实现了对未知样本的有效识别。这种做法不仅有助于理解原理本身，同时也锻炼了编程技巧以及解决实际问题的能力。 ```r # 加载必要的库并读入数据 library(ggplot2) data(iris) head(iris) # 数据预处理... set.seed(1234) trainIndex <- sample(seq_len(nrow(iris)), size = floor(.7 * nrow(iris))) trainingData <- iris[trainIndex, ] testingData <- iris[-trainIndex, ] # 定义knn函数用于后续调用 knnPredict <- function(trainSet, testInstance, labels, k){ distances <- sqrt(rowSums((t(t(trainSet[,1:4]) - as.numeric(testInstance)))^2)) sortedDistIndices <- order(distances)[1:k] classCounts <- table(labels[sortedDistIndices]) return(names(which.max(classCounts))) } predictions <- sapply(as.matrix(testingData[,1:4]), knnPredict, trainSet=as.matrix(trainingData[,1:4]), labels=trainingData$Species,k=3L) confusionMatrix <- table(predictions,factor(testingData$Species)) print(confusionMatrix) ``` 上述代码片段演示了一个完整的基于自定义逻辑而非第三方工具包构建KNN模型的过程，包括但不限于数据分割、相似性测量及最终评估等方面的工作。 #### 三、应用场景探讨 尽管存在诸如计算复杂度较高等局限之处，但在某些特定条件下依然能够展现出独特价值： - **低维空间**：当输入变量数量较少时，性能表现良好； - **多模态分布**：可以很好地适应具有多个峰值的概率密度函数所描述的现象； - **快速原型开发**：由于易于理解和编码特性，在初期探索阶段可作为一种高效手段迅速验证想法可行性[^3]。 综上所述，虽然与其他更先进的技术相比可能显得不够先进，但凭借其实现简便性和灵活性依旧占据着不可替代的地位。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值