k-d树 & kNN & ANN 等相关理解

最新推荐文章于 2025-06-13 20:07:54 发布
最新推荐文章于 2025-06-13 20:07:54 发布
阅读量3.5k 收藏 2
点赞数 2
CC 4.0 BY-SA版权
分类专栏： machine learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sunfei05/article/details/80499200
本文介绍了k-d树的基本概念，它是一种多维空间的二叉查找树，用于加速kNN（k最近邻）算法的搜索过程。k-d树通过固定一维并划分超平面来构建，其核心优势在于剪枝策略，能够有效降低搜索时间复杂度。文章还提及了k-d树的建树、最近邻和k近邻搜索方法，并讨论了在ANN（近似最近邻）中的应用。虽然k-d树在某些边界情况可能导致不准确，但在大规模数据集上，对于kNN搜索仍有显著的效率提升。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

花了两天时间就看了个k-d树 罪过罪过～

不过还是大约总结以下吧

起初看k-d树是在看李航的《统计学习方法》中提到的，kNN是个很简单的算法，但k-d树总的来说，稍微有点绕，感觉可能是看到的资料表述的不太清晰，也有可能是本来k-d树就不容易表述。


k-d树从根本上来说就是一个多维空间下的二叉查找树，区别于二叉查找树只有1维，k-d树可以有n维，故而k-d树在分叉的时候，需要固定一维，构成一个超平面进行划分，在选具体哪一维的时候，简单的做法是从第一维开始轮循，可能更优的做法是采用最大方差维进行划分，因为从根本上来说，我们需要把搜索空间划分的更均匀，这个时候总的搜索时间会下降，也更方便剪枝，考虑一种特殊情况，假设我们始终只使用1个维进行空间划分，那么整个搜索空间会被划分成长条状的超矩形，那么在搜索的时候，在kNN k = 1的情况下，超球体可能会横跨诸多搜索空间，也意味着我们需要遍历很多的搜索分支。


k-d树的建树方法比较简单，固定一维，然后左小右大，当然根结点中存储的是中位数，左小右大的基准也是该点，直到最终被点划分的子区域都是空白为止，此处应有图，不过很遗憾，懒得粘别人的博客了。


重点述说一下k-d树的查找最近邻以及k近邻的搜索方式，其实从搜索的角度来讲，不论是最近邻还是k近邻，从O(n) 到 log(n)，节省掉的时间永远是剪枝剪掉的部分，而k-d树最核心的也应该是剪枝，不知道为什么，好多书，资料上都没有指出这一点，害的我有点怀疑自己，浪费时间，k-d树剪掉的枝就是假设已经找到一个当前最近点，那么如果当前最近点和目标点的距离小于目标点和某一块超矩形的距离，那么在这一块超矩形中都不去搜索，即减去这一分支。


简单述说一下最近邻和k近邻的搜索方法，这一块详细的算法书中都有，自己来写个很完善的伪代码可能也写不好...


在最近邻搜索中，先和二叉搜索树一样，找到树中离目标点最近的叶子节点，取该叶子节点为当前最近点，然后回溯，找到父节点，判断父节点与目标节点之间的距离，小则更新，大则不变，同时判断目标点与另一分支是否相交，此时只需判断目标点与父节点所在的那条

最低0.47元/天 解锁文章

200万优质内容无限畅学
自然语言处理之文本分类：使用TF-IDF优化K-Nearest Neighbors (KNN)
zhubeibei168的博客
05-11 598
K-Nearest Neighbors (KNN)是一种基于实例的学习算法，用于分类和回归。在文本分类中，KNN算法通过计算待分类文本与训练集中每个文本的距离，然后选择距离最近的K个邻居，根据这些邻居的类别来预测待分类文本的类别。词袋模型和TF-IDF模型是文本分类中常用的特征提取方法。词袋模型简单直观，但可能无法区分文本中的重要词和常见词。TF-IDF模型通过结合词频和逆文档频率，可以更准确地反映词在文档中的重要性，从而提高文本分类的性能。
k-d树及knn
08-02
该算法实现了k-d树的建立，以及k邻域的查找，这是用matlab编写的，可以针对三维点云进行k邻域的查找，可以直接被调用。
k近邻与k-d树
热门推荐
careyee的专栏
06-03 1万+
k近邻 k近邻法（k nearest neighbor algorithm，k-NN）是机器学习中最基本的分类算法，在训练数据集中找到k个最近邻的实例，类别由这k个近邻中占最多的实例的类别来决定，当k=1时，即类别为最近邻的实例的类别。 如上图所示（引自wiki），当k=3时，此时红色的个数为2，则绿色的输入实例的类别为红色的三角形，当k=5时，此时蓝色的个数为3，输入实例的类别为
ANN和KNN区别
最新发布
ttest11的博客
06-13 796
KNN（精确最近邻）ANN（近似最近邻）精度最高，绝对最优稍低（~99%以上，参数可调）速度慢（全量暴力遍历）快（近似索引结构）适用小数据or离线静态场景大数据、低延迟在线服务算法暴力/排序搜索IVF、PQ、LSH、HNSW等典型应用基本检索/原型实验生产环境大规模召回、搜索问题背景给定一个大规模向量集合和一个查询向量，要求在统计时间和准确率折中的情况下，快速找出最“接近”（欧氏、余弦等距离）的Top-K邻近向量。核心思想允许少量查全率损失，极大地提升搜索速度。
手写，KNN与k-d树简述
万物琴弦存于你的泡沫之中，光锥之外
08-03 226
用KNN（K近邻算法）和ANN（人工神经网络）建立预测模型
weixin_50899508的博客
06-03 2767
数据 输入 32 维的向量 输出一个值 有151组这样的数据 目的 用这样一组数据建立一个预测模型 输入32维的向量就能预测一个值 代码部分 1 导入工具包 在import pandas as pd import seaborn as sns import matplotlib.pyplot as plt from sklearn.utils import shuffle from sklearn.metrics import r2_score from tensorflow.keras.layers i
开源kd树手册 Ann
07-08
很高效的开源kdtree使用手车 Ann
knn.rar_K._k-d_k-d树
09-20
在实际应用中，knn算法和k-d树常常用于图像分类、文本分类、推荐系统等领域。例如，在图像分类中，可以提取图像的特征向量，然后用k-d树来快速找到与待分类图像特征最相似的训练样本，从而预测其类别。在文本分类中...
探索K-近邻算法（KNN）：原理、实践应用与文本分类实战
pengyi123的博客
04-06 3094
在词袋模型的基础上，引入TF-IDF（Term Frequency-Inverse Document Frequency）权重，以突出那些在特定文档中频繁出现但在整体文档集合中不常见的词语，从而增强特征表示的区分度。在学术和工业界，针对KNN算法的优化和扩展一直是研究热点，不断涌现新的研究成果和技术解决方案，以适应大数据时代对算法性能的更高要求。：如科技新闻、体育新闻、财经新闻等多类别分类，KNN同样可以应用于此，通过计算文本向量间的距离，将新闻文章分配给最接近的类别。
elasticsearch中的向量检索，语义检索，RRF，kNN，ANN，HNSW
猛犸象
10-23 2972
elasticsearch中的向量检索，语义检索，RRF，kNN，ANN，HNSW
ANN: Approximate Nearest Neighbors（近似最近邻分类算法）
02-23
由国外著名大学编写的非常有效近似最近邻分类算法，可直接使用，也可作为学习
openCV ANN KNN SVM
09-26
openCV ANN KNN SVM 算法类，可以轻松的移植到系自已的系统中去。
KNN和ANN的异同 |
m0_72160465的博客
04-02 1060
在基于图的ANN算法中，如何构造图的结构至关重要，更准确一些来说的话，是边的构造至关重要。在后面的章节中，本文会针对一些图算法和结构，例如Delaunay Graph，Monotonic Search Network，Relative Neighborhood Graphs等进行深入的探讨。一般来说，精准找到K个最近邻往往代价很大，所以在实际应用中，KNN问题常常被弱化成ANN (Approximate Nearest Neighbor) 问题，即近似最近邻问题。，找到的一定是最近的K个点；
KD树
木筱雪的专栏
10-10 865
最近的作业需要用到KNN，简单看了一些资料，发现一篇还不错的文章，非常感谢这位博主的介绍和总结，本文主要是基于此做的一些粗略笔记： http://blog.youkuaiyun.com/u010551621/article/details/44813299关于KNN，思想非常简单，就是寻找离自己最近的k个点。 一种常见的用法是：做分类器。找到最近的k个点，按照少数服从多数的思想。 另一种常见用法是：构建图
aNN 与 kNN：了解它们在向量搜索中的区别和作用
Elastic 中国社区官方博客
08-21 2530
在当今的数字时代，数据呈指数级增长，且日益复杂，高效搜索和分析这一浩瀚信息海洋的能力从未如此重要。但同时也从未如此具有挑战性。这就像大海捞针，但挑战在于针的形状不断变化。这就是向量搜索作为游戏规则改变者出现的地方，它改变了我们与大型数据集的交互方式。它通过将数据转换为向量（多维空间中的数学表示）来实现这一点，从而实现更细致入微和上下文感知的搜索。向量搜索的核心是两种关键算法：近似最近邻 () 和 K 最近邻 (这些算法是增强搜索能力的基础，两者都具有各自的独特优势。
KNN（二）--近似最近邻算法ANN
这里记录着我一点一滴的进步
03-05 5439
原文： http://www.68idc.cn/help/buildlang/ask/20150118176470.html 高维数据快速最近邻算法FLANN 1.     简介          在计算机视觉和机器学习中，对于一个高维特征，找到训练数据中的最近邻计算代价是昂贵的。对于高维特征，目前来说最有效的方法是 the randomized k-d forest和
机器学习笔记 近似相似性搜索/近似最近邻算法(ANN)
学以致用 知行合一
03-25 2244
1、ANN算法（approximate nearest neighbor）最近邻算法通常会牺牲完美的精度来提高速度。这些近似最近邻 （ANN） 算法可能并不总是返回真正的k个最近向量。但它们运行高效，可扩展到大型数据集，同时保持良好的性能。这种算法的优势在于，在许多情况下，近似的最近邻几乎与确切的近邻效果一样好。如果距离测量准确地捕捉了用户的需求，那么距离的微小差异应该无关紧要。
ANN之KD-Tree
seeker的博客
04-06 2391
一、何为 KD-tree kd（k-dimensional）树的概念自1975年提出，试图解决的是在k维空间为数据集建立索引的问题。在已知样本空间如何快速查询得到 query 近邻？唯有以空间换时间，建立索引便是计算机世界的解决方法。但是索引建立的方式各有不同，kd树只是是其中一种。它的思想如同分治法，即：利用已有数据对k维空间进行切分。 当 k=1时，也就是一维空间的kd树，就是我们所熟知的二叉查找树 二叉树在时间复杂度上是O(logN），远远优于全遍历算法。对于该树，在空间上理解就是，树的每个节点把对
KNN算法与k-d树实现教程
8. 本压缩包文件内容介绍：根据文件标题“KNN.rar_K._k-d树”，文件中很可能包含了KNN算法的源代码、k-d树的数据结构实现以及一些示例数据集，用于演示如何使用k-d树来加速KNN算法的最近邻搜索过程。此外，文档可能...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值