k近邻算法与kd树的创建和搜索

原创 已于 2023-03-12 17:17:42 修改 · 1.7w 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#近邻算法 #算法 #机器学习

于 2017-07-19 17:27:25 首次发布
本文介绍了k近邻算法及其在大数据量时的计算挑战，提出了kd树作为优化搜索的方法。kd树通过递归划分数据空间以加速查找最近邻的过程。在构建kd树时，选择具有最大方差的维度进行切分，而在查找过程中，通过判断超球体与超矩形是否相交来确定是否需要进一步搜索。通过一个实例展示了kd树的查找过程。

h i t 2015 s p r i n g 晨凫追风 \frac{hit2015spring}{晨凫追风} 晨凫追风hit2015spring​

欢迎关注我的博客：http://blog.youkuaiyun.com/hit2015spring

k近邻算法

是一种常用的监督学习的方法：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于k个邻居的信息来进行预测。通常：

分类任务中用投票，选择k个样本中出现最多的类别标记作为预测结果
回归任务中：平均法
还可以基于距离的远近进行加权平均或者加权投票，距离越近权重越大

没有显示的训练过程，训练时间开销为0，是一种懒惰学习

分类的结果与k的选择和距离计算方式的选择有关系

k近邻分类器示意图

上图可以看出二维空间中，距离的计算方式不同，包含的区域也是不相同的。故会影响结果

k值得选择也会对结果产生影响，k值小的话，相当于用较小的邻域中的训练实例进行预测，学习的近似误差会减小，只有与输入实例较近的训练实例才会对预测结果起作用，但是估计误差会增大，意味着会产生过拟合。

kd树的构建

实现k近邻方法时，面临一个计算速度的挑战问题，当特征空间的维数非常大以及训练数据非常大的时候，我们优化这个搜索的方法就显得尤为重要了

一般方法：最简单的是实现一个线性扫描，就是计算输入的实例与每一个训练实例之间的距离，训练集很大的时候，计算会耗时很长，于是就出现了kd树的这种方法。

构造kd树的数学描述比较难懂：

输入的是 k k k维空间数据集 T = { x 1 , x 2 , ⋯   , x N } T=\{x_1,x_2,\cdots,x_N\} T={ x1​,x2

最低0.47元/天 解锁文章
C++实现K最邻近算法(机器学习 KNN KD树)
08-17
C++实现K最邻近算法, 使用KD树来实现, 在面对大量数据时可以提高搜索效率. 代码干净, 整洁, 有注释, 可直接使用.
使用kd树进行k邻近搜索，c++实现
10-08
程序可以直接运行，有代码注释，vs2012 x64环境，使用armadillo矩阵库，已将矩阵库的dll，lib，头文件放在工程中，无需配置。 具体可以看以下博客https://blog.youkuaiyun.com/qq_32478489/article/details/82972391
3-3 k近邻算法 用kd树的k近邻搜索
幸福在路上
03-09 752
算法：用kd树的k近邻搜索 输出： 已构造的kd树 目标点x 输出： x的最近邻 在kd树中找出包含目标点x的叶结点：从根结点出发，递归地向下访问kd树。若目标点x当前维的坐标小于切分点的坐标，则移动到左子节点，否则移动到右子节点。直至子结点为叶结点为止。 以此结点为当前最近点 递归地向上回退，在每个结点进行以下操作： a) 如果该结点保存的实例点比当前最近点距离目标点更近，则以该实例点为“当前最...
机器学习 K近邻之KD树 搜索KD树
qq_52045638的博客
12-23 995
机器学习 K近邻之KD树 搜索KD树
用kd树的最近邻搜索
FeynmanWang的博客
07-24 1246
算法：\qquad 输入：已构造的 kdkd 树；目标点 xx ; \qquad 输出：xx 的最近邻。 \qquad (1) 在 kdkd 树中找出包含目标点 xx 的叶节点：从根节点出发，递归地向下访问 kdkd 树。若目标点 xx 当前维的坐标小于切分点的坐标，则移动到左子节点，否则移动到右子节点。直到子节点为叶节点为止。 \qquad (2) 以此叶节点为”当前最近点“。 \qqua
kd树的构造与搜索
qq_27481087的博客
07-19 2862
实现k近邻算法时，主要考虑的问题是如何对训练数据进行快速k近邻搜索。这在特征空间的维数大及训练数据容量大时尤其必要。k近邻法最简单的实现是线性扫描（穷举搜索），即要计算输入实例与每一个训练实例的距离。计算并存储好以后，再查找K近邻。当训练集很大时，计算非常耗时。为了提高kNN搜索的效率，可以考虑使用特殊的结构存储训练数据，以减小计算距离的次数。 1.1 什么是kd树 根据KNN每次需要预测一个点时，我们都需要计算训练数据集里每个点到这个点的距离，然后选出距离最近的k个点进行投票。当数据集很大时，这个计算成本
利用kd树实现最近邻搜索
zrh_优快云的博客
06-09 2147
输入：已经构造的kd树，目标点x；输出：x的最近邻1在kd树中找出包含目标点x的叶节点：从根结点出发，递归地向下访问kd树。若目标点x当前维的坐标小于切分点的坐标，则移动到左叶子结点，否则移动到右叶子结点。直到子节点为叶节点为止。2以此叶节点为“当前最近点”3递归地向上回退，在每个结点进行以下操作：a．如果该结点保存的实例点比当前最近点距离目标点更近，则以该实例点为“当前最近点”b．当前最近点一定...
python-k近邻算法-kd树
好好学习
07-16 596
KNN算法
KD树生成与K近邻算法的Python实现
文件标题中提到的KD树与K近邻算法的关系在于，KD树是一种实现KNN算法的高效数据结构。在数据预处理阶段，KD树算法会遍历数据集来构建树结构，而在分类或回归阶段，KD树则可以快速地查询出待预测样本的最近邻点集合。...
【机器学习（二）】K近邻算法：原理、kd树构造和查找、案例分析、代码（机器学习库、自己实现）
qq_39709813的博客
06-11 1703
k近邻算法是一种分类和回归的算法，可以简单认为： 输入：训练的特征向量和标签训练（类） 输出：任意给一个输入，得到这个输入的标签（类） 因此k近邻有三要素：距离度量、k值选择和分类决策。 原理：三要素确定好后，输入一个特征向量，寻找x最近的k个训练特征向量，观察最近的k个特征向量的标签（类），然后选择标签最多的那个标签作为x的标签，输出结果。 三要素一：距离度量 常用的距离度量方式就是欧式距离，但也包含其他距离度量方式，根据最近的k的距离，就可以选择最近的k训练特征向量。 输入特征向量： 距
Python实现kd树加速k近邻算法
通过kd树，可以在k近邻算法中实现高效的分类和检索操作，尤其在高维数据场景下，大大减少了搜索复杂度。 Python中的kd树实现为k近邻算法提供了一个实用且高效的工具，使得在大数据集上的分类任务变得更加可行和快速...
C#实现KD树建立，K近邻点搜索
02-28
C#实现KD树建立，K近邻点搜索（采用BBF进行了K近邻搜索优化)
k近邻_kd-tree_kd树_vs2008_C++代码
12-15
vs2008写的Kd树泛型算法，支持k近邻查询。
李航KD树最近邻搜索
https://www.cnblogs.com/qizhou/
12-04 396
李航老师书上的的算法说明没怎么看懂，看了网上的博客，悟出一套循环（建立好KD树以后的最近邻搜索），我想应该是这样的（例子是李航《统计学习算法》第三章56页；例3.3）： 　 步骤 结点查询标记 栈内元素（本次循环结束后） 最近点 最近距离 说明 A B C D E F G 初始化 0 0 0 ...
K-D Tree
Boyhou 的专栏
10-12 1422
简简介 k-d树[1]（k-dimensional树的简称），是一种分割k维数据空间的数据结构。主要应用于多维空间关键数据的搜索（如：范围搜索和最近邻搜索）。 2应用背景 SIFT算法中做特征点匹配的时候就会利用到k-d树。而特征点匹配实际上就是一个通过距离函数在高维矢量之间进行相似性检索的问题。针对如何快速而准确地找到查询点的近邻，现在提出了很多高维空间索引结构和近似查询的算法
KD tree-基于树的ANN近邻搜索
fs1341825137的博客
08-04 1209
KD-tree 基于树的ANN近邻搜索
基础知识（六）KD-Tree快速最近邻搜索
hjimce的专栏
08-05 6534
flann库是比较常用的k近邻搜索库，支持n维数据点的快速搜索，同时许多开源库也都是用这个，比如opencv，还有点云处理的库PCL。因为opencv也可以调用这个库，所以我直接用opencv进行调用。如果不想要引入opencv库，可以网上下载flann，然后调用里面的c++源码。调用flann需要包含头文件：flann.hpp。在此直接贴个调用这个库，进行快速最近邻快速搜索的函数：
k近邻法--python代码实现与kd树构建搜索
qq_45420034的博客
02-19 1707
文章目录算法简介python代码实现kd树的构建与搜索 算法简介 k近邻法属于监督学习，不需要训练模型（懒惰学习）。算法流程：对于测试样本，按照某种距离度量（闵可夫斯基距离、欧氏距离、曼哈顿距离、切比雪夫距离等）从给定的训练集中找出与其相近邻的k个训练样本，根据这k个训练样本信息进行预测。对于分类任务，可按照投票法，以k个训练样本中出现最多的类别作为预测结果；对于回归任务，可按照平均法，取k个训练样本实际输出的平均值作为预测结果，也可以加权平均，对于距离测试样本进的训练样本取较大的权重。 python代码实
kd树的构造和搜索(超详细)
weixin_42419611的博客
03-19 5374
kd（k-dimensional）树解决的是为k维数据建立索引的问题。 已知样本空间如何快速搜索到最近邻？ 常规方法是线性表+线性搜索。复杂度o(log(n))，数据量很大时很耗时。 但是可以通过空间换时间的方法减小时间复杂度，即对样本数据建立索引。kd树是建立k维数据索引的一种方法。kd树类似于平衡二叉树，不过是对k维数据进行划分。 Kd树的构造： 假设特征空间T: 递归构造kd树： 输入：n个对象的特征向量组成的特征空间T={x0,x1,…,xNx_0,x_1,…,x_Nx0​,x1​,…,xN​}
kdtree最近邻域搜索 python
最新发布
02-27
### 如何在Python中使用KDTree实现最近邻搜索 #### 理解KD-Tree结构与原理 KD-Tree是一种用于多维键空间的数据结构，特别适用于组织点模式以便于快速检索。这种树形结构通过递归地沿不同坐标轴切割k维欧几里得空间来构建[^1]。 #### 创建KD-Tree实例 为了创建一个KD-Tree，在Python中最常用的方法之一是利用`scipy.spatial.KDTree`库。此模块提供了高效处理高维数据集的能力，并简化了诸如查询最接近邻居这样的操作： ```python from scipy import spatial import numpy as np data_points = np.array([[2, 3], [5, 4], [9, 6], [4, 7], [8, 1], [7, 2]]) tree = spatial.KDTree(data_points) ``` 上述代码片段展示了如何初始化一个基于给定点集合的KD-Tree对象。 #### 执行最近邻搜索 一旦建立了KD-Tree，就可以轻松执行单次或批量的最近邻查询。对于单一目标点而言，可以调用`query()`函数获取距离该位置最近的数据点及其索引： ```python target_point = (5, 5) distance, index_of_nearest_neighbor = tree.query(target_point) print(f"The nearest neighbor to {target_point} is at position {index_of_nearest_neighbor}, with distance={distance}") ``` 这段脚本说明了怎样找到离指定坐标的最近样本并打印相关信息。 #### 处理多个查询点的情况 当面对大量待查问的对象时，可以通过传递参数至`query()`来进行优化后的批处理请求： ```python multiple_targets = [(0, 0), (-1, -1)] distances, indices = tree.query(multiple_targets) for i, target in enumerate(multiple_targets): print(f"For point {target}: Nearest neighbor found at data[{indices[i]}]") ``` 这里演示了一个列表形式输入多个测试案例的方式，返回的结果同样包含了对应的下标和实际间距值。 #### 自定义分割策略和其他高级特性 除了默认行为外，还可以自定义一些内部机制比如选择不同的切分方式或是调整分支因子等设置。然而这些通常不是必需的操作，除非有特殊需求才需深入研究底层细节[^4]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值