ANN: A Library for Approximate Nearest Neighbor Searching

最新推荐文章于 2024-12-25 09:23:57 发布
最新推荐文章于 2024-12-25 09:23:57 发布
阅读量1.8k 收藏
点赞数
分类专栏： 图像应用
ANN是一个用C++编写的库，支持高维空间中精确和近似的最近邻搜索。该库适用于数千到数十万的数据集，在高达20维的空间中表现良好。它支持多种距离度量，并提供了几种不同的数据结构和搜索策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

What is ANN?
ANN is a library written in C++, which supports data structures and algorithms for both exact and approximate nearest neighbor searching in arbitrarily high dimensions.

In the nearest neighbor problem a set of data points in d-dimensional space is given. These points are preprocessed into a data structure, so that given any query point q, the nearest or generally k nearest points of P to q can be reported efficiently. The distance between two points can be defined in many ways. ANN assumes that distances are measured using any class of distance functions called Minkowski metrics. These include the well known Euclidean distance, Manhattan distance, and max distance.

Based on our own experience, ANN performs quite efficiently for point sets ranging in size from thousands to hundreds of thousands, and in dimensions as high as 20. (For applications in significantly higher dimensions, the results are rather spotty, but you might try it anyway.)

The library implements a number of different data structures, based on kd-trees and box-decomposition trees, and employs a couple of different search strategies.

The library also comes with test programs for measuring the quality of performance of ANN on any particular data sets, as well as programs for visualizing the structure of the geometric data structures.

Why approximate nearest neighbors?
Computing exact nearest neighbors in dimensions much higher than 8 seems to be a very difficult task. Few methods seem to be significantly better than a brute-force computation of all distances. However, it has been shown that by computing nearest neighbors approximately, it is possible to achieve significantly faster running times (on the order of 10's to 100's) often with a relatively small actual errors. ANN allows the user to specify a maximum approximation error bound, thus allowing the user to control the tradeoff between accuracy and running time.

Conditions of Use
As of Version 1.0, ANN is distributed under the terms of the GNU Lesser Public License. Please also check out the Copyright Notice and License Terms.

The University of Maryland and the authors make no representations about the suitability or fitness of this software for any purpose. It is provided "as is" without express or implied warranty.

 
System Requirements
Compiling ANN requires an ANSI C++ compiler. It has been successfully compiled and run on a number of platforms, including Sun workstations running SunOS 5.x (Solaris) and Linux 2.x platforms using the g++ compiler, and under Microsoft Windows using VisualStudio 2005 (Version 8.0) and Visual C++ 2005.

How can I get ANN?
The latest version of ANN can be downloaded here. The changes in version 1.1.2 are very minor, and primarily involve fixing compilation errors with modern C++ compilers. See ReadMe.txt for more information.

Older versions of ANN are also available, but not supported.

Questions/Comments?
If you have questions or comments, please email them to Dave Mount: mount@cs.umd.edu.
 
Acknowledgments
We would like to thank the numerous user's of ANN who have made contributions in the form of suggestions, makefile entries, and finding bugs (and waited so patiently for this release). We would also like to acknowledge the support of the NSF under grants CCR-9712379 and CCR-0098151.

 

 

转载自：http://www.cs.umd.edu/~mount/ANN/

【AI知识点】近似最近邻搜索（ANN, Approximate Nearest Neighbor Search）
AI完全体
10-03 4458
近似最近邻搜索（ANN） 是一种为了提升高维数据相似性搜索效率的技术，它在牺牲一定精度的前提下，大大提升了搜索速度。它被广泛应用于推荐系统、图像检索、文本相似性搜索等实际场景。常见的ANN算法包括局部敏感哈希（LSH）、图嵌入法（如HNSW）、矢量量化（VQ）等，它们通过不同的方式优化搜索过程，解决了高维数据中的“维度灾难”问题。
ANN: Approximate Nearest Neighbors（近似最近邻分类算法）
02-23
由国外著名大学编写的非常有效近似最近邻分类算法，可直接使用，也可作为学习
Approximate Nearest Neighbor Searching
junpengxue的专栏
08-27 1117
在 被动立体视觉中用ANN匹配如何呢，值得去试一下，这里先记录下来吧     ANN: A Library for   Approximate Nearest Neighbor Searching     David M. Mount   and    Sunil Arya     Version 1.1.2 Release Date:
快速近似最近邻搜索库 FLANN - Fast Library for Approximate Nearest Neighbors
Tcorpion的博客
08-17 2297
What is FLANN? FLANN is a library for performing fast approximate nearest neighbor searches in high dimensional spaces. It contains a collection of algorithms we found to work best for nearest neig
算法笔记 近似最近邻查找（Approximate Nearest Neighbor Search，ANN）
qq_40206371的博客
09-04 4199
也就是说，如果两个点 p 和 q 距离很近，那么它们被哈希到同一个桶的概率应该很高。也就是说，如果两个点 p 和 q 距离很远，那么它们被哈希到同一个桶的概率应该很低。: 如果 distance(p,q)≤r，则 h(p)=h(q) 的概率较高。: 如果distance(p,q)≥R，则 h(p)=h(q) 的概率较低。在搜索过程中，一旦找到一个与查询点距离在某个阈值范围内的点，就停止搜索。这样可以加速查找过程，但可能会错过更近的点。
An efficient algorithm for the nearest neighbourhood search for point clouds
12-27
这两种算法均来源于ANN(A library for Approximate Nearest Neighbor Searching)库，是当前kNN搜索领域较为成熟的解决方案。 - **评价指标**：主要关注算法的计算时间，即完成一次完整的kNN搜索所需的时间。 - **...
一份史上最详细的计算机视觉资料：包括书籍、论文、数学理论、代码、数据集
Tiger数学之家的博客
08-29 1082
Awesome Computer Vision A curated list of awesome computer vision resources, inspired by awesome-php. For a list people in computer vision listed with their academic genealogy, please visit here Table...
近似邻近搜索源码算法
08-10
近似邻近搜索（Approximate Nearest Neighbor Searching，简称ANN）是计算机科学中用于大数据集上的高维空间搜索的一种高效算法。在机器学习、数据挖掘和推荐系统等领域，当需要在大量向量中找到与查询点最相似的点...
深入解析近似邻近搜索算法源码
近似邻近搜索（Approximate Nearest Neighbor Searching，简称ANN）算法是计算几何和数据挖掘中的一个重要领域，用于在大规模数据集中快速找到与给定查询点最近的点或一组点。这种方法在处理海量数据时非常高效，...
K Nearest Neighbor
troysps的博客
06-11 1117
KNN算法 概述 KNN算法：即最邻近分类算法（K-NearestNeighbor 算法思路：如果一个样本在特征空间中的k个最相似（即特征空间中最临近）的样本中的大多数属于某一个类别 则该样本也属于这个类别 k通常是不大于20的整数 KNN算法中 所选择的邻居都是已经正确分类的对象 该方法在定义决策上只依据最邻近的一个或几个样本的类别来决定待分样本所属的类别 如上所示 ...
ANN Programming Manual
11-02
提供建立k-d树、搜索k个最近临近点等相关功能的库函数和源代码，为作相关方面的开发人员提供帮助
How to choose Approximate Nearest Neighbors Searching Algorithms？
lotus___的专栏
05-04 3421
CV人可能比较了解Approximate Nearest Neighbors Searching Algorithms(ANN)吧，因为打得交道实在是太多了。不管是Image matching/Image retrieval/Image stitching/Image recognition，最后一步总是NN searching。这一周被各种NN searching折磨着，总算有些心得体会，希望大
近似最近邻搜索算法的matlab仿真
FPGA/MATLAB学习教程/源码/项目合作开发
01-27 1514
设有一个数据集 D={x1​,x2​,…,xN​}，其中每个数据点 xi​∈Rd 是一个 d 维向量。给定一个查询点 q∈Rd，最近邻搜索（Nearest Neighbor Search, NNS）的目标是找到数据集 D 中与 q 最近的点，即：其中 dist(⋅,⋅) 表示两点之间的距离，通常是欧氏距离。然而，在大规模高维数据集中进行精确最近邻搜索是非常耗时的。因此，近似最近邻搜索算法旨在找到一个与 q “足够近”的点，而不一定是最近的点。
ANN（Approximate Nearest Neighbor）简介
m0_66436090的博客
02-26 2762
ANN（Approximate Nearest Neighbor）简介，以及各个ANN算法种类分类
近似最近邻搜索ANN(Approximate Nearest Neighbor)
热门推荐
永远飞翔的鸟
02-26 1万+
目录 一、随机投影森林-一种近似最近邻方法（ANN） 1.随机投影森林介绍 2、LSHForest/sklearn 二、Kd-Tree的最近邻查找
机器学习笔记 近似相似性搜索/近似最近邻算法(ANN)
学以致用 知行合一
03-25 2268
1、ANN算法（approximate nearest neighbor）最近邻算法通常会牺牲完美的精度来提高速度。这些近似最近邻 （ANN） 算法可能并不总是返回真正的k个最近向量。但它们运行高效，可扩展到大型数据集，同时保持良好的性能。这种算法的优势在于，在许多情况下，近似的最近邻几乎与确切的近邻效果一样好。如果距离测量准确地捕捉了用户的需求，那么距离的微小差异应该无关紧要。
随机投影森林-一种近似最近邻方法（ANN）
Tcorpion的博客
06-18 2680
当数据个数比较大的时候，线性搜索寻找KNN的时间开销太大，而且需要读取所有的数据在内存中，这是不现实的。因此，实际工程上，使用近似最近邻也就是ANN问题。其中一种方法是利用随机投影树，对所有的数据进行划分，将每次搜索与计算的点的数目减小到一个可接受的范围，然后建立多个随机投影树构成随机投影森林，将森林的综合结果作为最终的结果。 ​建立一棵随机投影树的过程大致如下（以二维空间为例）： 随
ANN（Approximate Nearest Neighbor，近似最近邻）
ruleng8662的博客
12-25 1694
ANN 是在高维空间中平衡速度与精度的一种近似算法，其核心在于通过构建高效的数据结构，快速查找目标点的近邻。随着应用需求的增加和硬件性能的提升，ANN 技术将继续在大规模数据检索中扮演重要角色。是一种在高维空间中查找与目标点最接近的点的算法。它特别适合于处理大规模、高维数据集，能够在保证高检索精度的同时显著提高效率，因此被广泛应用于推荐系统、图像检索、语音识别等场景。如果有更具体的场景需要探讨，可以进一步细化！
L-ASCRA: A Linearithmic Time Approximate Spectral Clustering Algorithm Using Topologically-Preserved Representatives代码实现
最新发布
03-20
<think>好的，我现在需要帮助用户寻找L-ASCRA算法的代码实现。首先，我得先确认一下这个算法的具体情况。L-ASCRA全称是线性时间近似谱聚类算法，对吧？用户提到的是“linearithmic time approximate spectral clustering”，这里可能有一点混淆，因为linearithmic通常指的是O(n log n)的时间复杂度，而用户提到的算法名称中的“L”可能代表线性时间，也就是O(n)。需要先理清楚这一点。 接下来，我应该回忆一下谱聚类的基本原理。谱聚类通常涉及构建相似矩阵、计算拉普拉斯矩阵、特征分解，然后进行k-means聚类。这些步骤的时间复杂度通常较高，尤其是在处理大规模数据时，特征分解可能会成为瓶颈。因此，近似方法如L-ASCRA可能通过一些技术来降低计算复杂度，比如使用采样、低秩近似或者拓扑保留的代表点（topologically-preserved representatives）来减少数据量。 然后，我需要考虑用户提到的具体实现是否存在。由于谱聚类的优化算法有很多变种，但L-ASCRA可能并不是一个广泛知名或标准化的算法名称。可能需要查阅相关论文或文献来确认这个算法的具体实现细节。比如，用户是否提供了论文引用或者作者信息？如果没有，可能需要通过关键词搜索来寻找相关资料。 接下来，用户可能希望得到一个代码示例，但由于算法本身的特殊性，可能没有现成的开源实现。这时候可能需要建议用户参考相关的近似谱聚类方法，或者指导用户如何根据论文中的描述自行实现。 另外，用户提到了“topologically-preserved representatives”，这可能涉及到数据降维或采样方法，保持数据的拓扑结构，比如使用随机投影、Nyström方法或者核心集（coreset）构建。例如，Nyström方法常用于加速核方法，通过采样一部分数据点来近似整个核矩阵，这可能与L-ASCRA有关联。 在代码实现方面，如果用户使用Python的话，可能需要用到scikit-learn中的谱聚类模块，或者结合Nyström近似。例如，scikit-learn的SpectralClustering类有一个n_components参数，可以设置使用Nyström方法来加速计算。此外，可能需要使用一些采样库或者近似最近邻（ANN）库来高效地构建相似矩阵。 不过，用户提到的L-ASCRA可能是一个特定的算法，可能需要具体实现。如果找不到现成的代码，可能需要建议用户查阅原始论文，查看是否有提供的代码，或者在GitHub等平台上搜索相关关键词。如果实在没有，可能需要根据算法步骤分步实现，比如先进行数据采样，再构建近似相似矩阵，然后进行特征分解，最后聚类。 另外，考虑到用户可能对R语言也有兴趣，因为引用了tm包的相关内容，可能需要检查是否有R中的相关包实现近似谱聚类。不过，常见的机器学习库如mlpack、caret或者其他R包中可能没有直接对应的实现，但可以结合多个包来组合实现。 总结下来，用户的请求需要以下几个步骤的处理： 1. 确认L-ASCRA算法的具体细节，是否存在公开实现。 2. 如果没有现成代码，建议近似方法或分步实现。 3. 提供可能的代码框架或示例，基于现有库如scikit-learn的Nyström方法。 4. 指导用户如何根据论文自行实现，或寻找相关资源。 在回答时，需要注意用户可能对算法不熟悉，需要给出清晰的步骤和相关参考文献，同时管理好他们的预期，即可能没有现成的代码，但可以通过其他方法近似实现。</think>关于L-ASCRA（线性时间近似谱聚类算法）的实现，目前公开的代码资源较少。该算法通过拓扑保留代表点实现高效计算，其核心思想是将时间复杂度从$O(n^3)$降低到$O(n)$或$O(n \log n)$。以下是分步骤说明和参考实现建议： ### 实现路径分析 1. **数据预处理** - 使用$k$近邻或ε-ball方法构建稀疏相似矩阵$W$ - 应用Nyström方法进行低秩矩阵近似$$ \hat{L} = C W^{-1} C^T $$，其中$C$为采样点矩阵[^1] 2. **拓扑保留采样** ```python from sklearn.neighbors import NearestNeighbors def topological_sampling(X, sample_size): model = NearestNeighbors(n_neighbors=5).fit(X) # 通过覆盖密度采样代表点 return X[np.random.choice(X.shape[0], sample_size, replace=False)] ``` 3. **近似特征分解** ```python from sklearn.cluster import SpectralClustering model = SpectralClustering(n_clusters=3, eigen_solver='amg', n_components=100, affinity='nearest_neighbors', n_neighbors=10) ``` ### 典型应用场景 - 社交网络社区发现（百万节点规模） - 高维生物数据聚类（如单细胞RNA测序数据） - 实时推荐系统中的用户分群[^2]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值