KNN(k-nearest neighbors) K近邻算法深入

最新推荐文章于 2024-05-02 08:15:00 发布
原创 最新推荐文章于 2024-05-02 08:15:00 发布 · 2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#KNN算法 #机器学习KNN #k-D树 #ball树

本文深入探讨KNN（K-Nearest Neighbors）算法，包括其三个核心要素：K值选择、距离度量和决策规则。介绍了暴力计算、K-D树和ball树等实现方式，并讨论了各种实现的性能和时间复杂度。此外，还提到了KNN在分类和回归任务中的应用及其在scikit-learn中的实现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

K近邻法是机器学习中一种很基本的算法，可以用做分类和回归，主要的思想跟我们生活中近墨者黑，近朱者赤的思想雷同。例如我们看一个人人品的好坏只需要看与之相交的人的品格好坏。KNN算法分类和回归主要区别在于最后做预测时候的决策方式不同：分类时我们选取与之相近的K个样本采取多数表决法来判断类别，回归时我们选取K个样本的平均值来作为预测值。

1.KNN算法的三个要素

  • K值     对于K值的选取可根据我们的经验，然而有时候并不是那么的好，我们需要通过交叉验证来不断地调节K值，直到选择到满意的值。K选择较小的值，就会使用训练实例中较小领域的训练实例进行预测，训练的误差会减小，那也就意味这只有与之相近的样本才对预测结果影响，这样会使模型变得复杂，容易发生过拟合。K选择较小的值，就会使用训练实例中较大的训练实例进行预测，这样会使模型变得简单，模型的泛化能力增强，但同时也意味着与之相距较远的实例会对其预测结果产生影响，会使训练误差增大。
  • 距离度量     我们有很多种距离度量的方式，可推荐参考   距离度量 。standard Euclidean distance（标准欧式距离）是最常见的选择。
  • 决策规则     分类我们一般使用的是对数表决法，回归采用K个样本标签均值

2. KNN的实现

  • 暴力实现
  • 最简单的近邻搜索的实现涉及数据集中所有成对点之间距离的暴力计算： 对于 D 维度中的 N 个样本来说, 这个方法的复杂度是 O[D N^2]。 对于小数据样本，高效的暴力近邻搜索是非常有竞争力的。 然而，随着样本数 N 的增长，暴力方法很快变得不切实际了。
  •  

  •  K-D树

  • 为了解决效率低下的暴力计算方法，已经发明了大量的基于树的数据结构。总的来说， 这些结构试图通过有效地编码样本的 aggregate distance (聚合距离) 信息来减少所需的距离计算量。 基本思想是，若 

最低0.47元/天 解锁文章

200万优质内容无限畅学
KNN分类器之NearestNeighbors详解及实践
data+scenario+science+insight
05-06 2281
KNN（K Nearest Neighbors）分类器之最近邻NearestNeighbors详解及实践 如何判断谁是最近邻？ 通过距离方法、例如欧几里得距离。 KNN属于基于实例的学习方法 一个实例在特征空间中的K个最接近（即特征空间中最近邻）的实例中的大多数属于某一个类别，则该实例也属于这个类别。 所选择的邻居都是已经正确分类的实例，是先验信息。 该算法假定所有的实例对应于N维欧式空间中的点。通过计算一个点与其他所有点之间的距离，取出与该点最近的K个点，然后统计这K个点里面所属分类比例
机器学习笔记——KNN（K-Nearest Neighbors，K 近邻算法）
haopinglianlian的博客
11-17 1964
本笔记介绍机器学习中的 KNN（K-Nearest Neighbors，K 近邻算法）
阿里云天池机器学习训练营(Day7, Day8):机器学习算法（三）：K近邻(k-nearest neighbors)初探
weixin_43332727的博客
12-21 598
1 KNN的介绍和应用 1.1 KNN的介绍  kNN(k-nearest neighbors)，中文翻译K近邻。我们常常听到一个故事：如果要了解一个人的经济水平，只需要知道他最好的5个朋友的经济能力， 对他的这五个人的经济水平求平均就是这个人的经济水平。这句话里面就包含着kNN的算法思想。    示例 ：如上图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形
机器学习算法：K近邻(k-nearest neighbors)
qq_27328197的博客
12-21 1781
文章目录1、KNN的介绍2、KNN的应用 1、KNN的介绍 kNN(k-nearest neighbors)，中文翻译K近邻。我们常常听到一个故事：如果要了解一个人的经济水平，只需要知道他最好的5个朋友的经济能力， 对他的这五个人的经济水平求平均就是这个人的经济水平。这句话里面就包含着kNN的算法思想。 示例 ：如上图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋.
分类算法之K-Nearest Neighbors
weixin_46297209的博客
01-17 598
分类算法之K-Nearest Neighbors 一：认识KNN算法 K-Nearest Neighbors又称为k最近邻算法。最初由Cover和Hart在1968年提出。属于Classification(分类)算法。Classification算法一般分为两个阶段，训练阶段和学习阶段 二：算法原理 通用步骤： 计算距离(常用欧式距离或马氏距离) 升序排列 取前k个 加权平均 k的选取： k太大：导致分类模糊 k太小：手个例影响，波动较大 如何选取k： 经验 均方根误差 三：算法应用 简单K
机器学习算法 KNN（k-Nearest Neighbor）
无穷酱的博客
04-14 842
目录 补充：超参数和模型参数 python实现： KNN(K-Nearest Neighbors) K近邻算法 实现 手写 数据集的 分类问题 导入 手写数据集（digits）数据集 通过上面的分析，我们可以知道，怎么将现实中的东西以数据的形式表示 下面是 KNN 模型的 实例 step1：将数据切分为 训练集 和测试集 调用 sklearn 中的KNN算法 直接调用score，...
KNN（K-Nearest Neighbors, K近邻算法）介绍与实战练习
09-19
KNN（K-Nearest Neighbors, K近邻算法）是机器学习中一种经典的监督学习算法，常用于分类和回归问题。其基本思想可以通过一句俗语概括——“近朱者赤，近墨者黑”，即根据目标数据点附近的样本来决定其类别或值。KNN...
K近邻（K-Nearest Neighbors, KNN）算法+python代码举例
08-13
K近邻（K-Nearest Neighbors, KNN）算法，并用python代码举例
KNN（K-Nearest Neighbors）算法详细介绍及使用示例
12-28
KNN（K-Nearest Neighbors）算法是一种经典的监督学习方法，主要用于解决分类和回归问题。KNN算法基于实例学习，其核心思想是利用新样本与其最近邻居的相似性来进行预测。当面对一个新的实例时，KNN会找到训练集中的...
pythonK近邻算法（k-Nearest Neighbors，KNN）解决分类问题
01-09
Python K近邻算法（K-Nearest Neighbors，KNN）是机器学习中的一种简单而强大的监督学习方法，常用于解决分类问题。这个算法的基本思想是：一个样本的类别由其最近的K个邻居的类别决定，其中K通常取奇数以避免平局。...
K近邻(K-Nearest Neighbors, KNN)回归算法(Python)
05-31
K近邻(K-Nearest Neighbors, KNN)算法既可处理分类问题，也可处理回归问题，其中分类和回归的主要区别在于最后做预测时的决策方式不同。KNN做回归预测时一般采用平均法，预测结果为最近的K个样本数据的平均值。
机器学习——K近邻算法（KNN）（K Nearest Neighbor）
m0_51725515的博客
12-10 422
k近邻法（k-nearest neighbor，k-NN）是一种基本分类与回归方法。k近邻法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k近邻法不具有显式的学习过程。k近邻法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。k值的选择、距离度量及分类决策规则是k近邻法的三个基本要素。
KNN（K-Nearest Neighbor，最近邻算法）
光尘的博客
01-10 2069
工作原理 “近朱者赤，近墨者黑”可以说是 KNN 的工作原理。整个计算过程分为三步： 计算待分类物体与其他物体之间的距离； 统计距离最近的 K 个邻居； 对于 K 个最近的邻居，它们属于哪个分类最多，待分类物体就属于哪一类。 K 值的选择 K 值的选择是很重要的 如果 K 值比较小，就相当于未分类物体与它的邻居非常接近才行。这样产生的一个问题就是，如果邻居点是个噪声点，那么未分类物体的分类也会产生误差，这样 KNN 分类就会产生过拟合。 如果 K 值比较大，相当于距离过远的点也会对未知物体的分
KNN最近邻算法（K - Nearest Neighbors）
qq_37543361的博客
07-27 5505
KNN最近邻算法（K - Nearest Neighbors） K最近邻算法是一种分类算法，算法思想是一个样本与数据集中的K个样本最相似，如果这K个样本中的大多数属于某一类别，则该样本也属于某一类别。 常见KNN的问题 有一个未知形状X，判断它属于哪个形状？                 我们可以发现，KNN的缺点，由于噪声和干扰，我们目前无法根据这个判断它属于哪个形状。  下面...
机器学习笔记——KNN （K Nearest Neighbors）
qq_45254142的博客
08-03 550
什么是K邻近算法 （KNN）： 比如说在这样一个图中，我们将已知的带有标签的数据（labeled data）放在一个直角坐标系中。现在如果我们读取了一个新的数据，我们想要分辨它是属于哪一种生物（这里用颜色表示）。先同样的将它放入这个坐标系中，然后分别计算出这个点与每一个已经出现过的点的欧式距离（Euclidean Distance）然后与以他最相邻的k个点的类别来判断它的类别。 假设我们现在不知道（5，3.0）这个点的类别，同时我们将参数k设为5。我们就得到了与之相邻的5个点都是setosa（红..
分类——KNN（K-Nearest Neighbors）
weixin_43677780的博客
03-29 256
import pandas as pd import numpy as np from sklearn.preprocessing import MinMaxScaler,StandardScaler from sklearn.preprocessing import LabelEncoder,OneHotEncoder from sklearn.preprocessing import Nor...
kNN：k-nearest neighbor classification(K最近邻分类算法，KNN)
坤的专栏
07-15 1862
K最近邻分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该算法的思路是：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某个类别，则该样本也属于这个类别。
机器学习面试题——KNN（K Nearest Neighbors）K近邻分类算法
weixin_46838716的博客
04-30 1266
1）区分K-means：无监督聚类，KNN：（有监督分类） 2）KNN的本质，k值选取，距离计算，优缺点，要了解
算法——K-最近邻（K-Nearest Neighbors，KNN）
weixin_43156294的博客
05-02 1903
KNN算法是一种非参数、基于距离的分类方法，无需构建显式模型，而是直接依赖于训练数据进行预测。确定K值：K是一个预先设定的正整数，表示在训练集中选取与待分类点最近的邻居数量。K值的选择对最终预测结果有显著影响，需根据具体问题和数据特性进行合理选择。距离计算：计算待分类点与训练集中每一个点之间的距离。常用的距离度量包括欧氏距离、曼哈顿距离、切比雪夫距离、马氏距离等。这些距离函数旨在量化不同维度特征间差异的程度。
K-近邻回归（K-Nearest Neighbors, KNN
最新发布
12-27
### K-近邻回归算法原理 K-近邻回归（K-Nearest Neighbors Regression, KNNR）是一种用于解决连续变量预测问题的方法。其核心思想是在给定一个新的输入样本时，找到训练集中与其最相似的 \( k \) 个样本，并利用这 \( k \) 个邻居的目标值来进行预测。 对于回归任务而言，目标是估计一个未知函数 \( f(x) \)，使得预测值尽可能接近真实值。具体来说，在KNN回归中： - 首先计算待测样本到所有已知样本之间的距离； - 接着选出距离最小的前 \( k \) 个样本作为“最近邻”； - 最后根据选定的聚合方式（通常是取均值），得到最终的预测结果[^3]。 #### 距离度量方法 常用的几种距离度量有欧几里得距离、曼哈顿距离以及更一般的闵可夫斯基距离等形式。其中，默认情况下采用的是欧氏距离公式\[ d(p,q)=\sqrt{\sum_{i=1}^{n}(p_i-q_i)^2}\]。 #### 特征缩放的重要性 由于各维度间可能存在不同的数量级差异，因此建议在实施KNN之前对原始数据做标准化预处理操作，比如Min-Max Normalization 或者Z-score Standardization等技术，从而确保各个属性之间具有相同的影响程度。 ```python from sklearn.preprocessing import StandardScaler scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) ``` #### 参数调优策略 \( k \) 值的选择至关重要，因为它直接影响到了模型的表现形式：较小的 \( k \) 易造成过拟合现象；而较大的 \( k \) 则容易引发欠拟合情况。为此可以通过网格搜索配合交叉验证的方式寻找最优解[^4]。 ```python from sklearn.model_selection import GridSearchCV param_grid = {'n_neighbors': range(1, 30)} grid_search = GridSearchCV(estimator=knn_regressor, param_grid=param_grid, cv=5, scoring='neg_mean_squared_error') grid_search.fit(X_train_scaled, y_train) best_k = grid_search.best_params_['n_neighbors'] print(f'Best n_neighbors value: {best_k}') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值