机器学习笔记 近似相似性搜索/近似最近邻算法(ANN)

已于 2023-07-04 08:22:11 修改
阅读量2.2k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 深度学习从入门到精通 文章标签： 近邻算法 机器学习 KNN ANN 相似性搜索
于 2023-03-25 11:38:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bashendixie5/article/details/128679128
本文探讨了近似最近邻(ANN)算法，用于在大型数据集中提高搜索速度，牺牲部分精度。介绍了HNSW、ANNOY、LSH和IVF等算法，以及它们在实际应用如Elasticsearch和Spotify中的作用。这些算法通过不同的方法，如图结构、随机投影和哈希，来实现高效的相似性搜索。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、ANN算法（approximate nearest neighbor）

最近邻算法通常会牺牲完美的精度来提高速度。这些近似最近邻 （ANN） 算法可能并不总是返回真正的 k 个最近向量。但它们运行高效，可扩展到大型数据集，同时保持良好的性能。

这种算法的优势在于，在许多情况下，近似的最近邻几乎与确切的近邻效果一样好。如果距离测量准确地捕捉了用户的需求，那么距离的微小差异应该无关紧要。

KNN 和 ANN 之间的区别在于，在预测阶段，所有训练点都参与搜索 KNN 算法中的 k 最近邻，但在 ANN 中，此搜索仅从一小部分候选点开始。

近似最近邻搜索 （ANNS） 是数据库、机器学习、多媒体和计算机视觉等许多领域应用中的基本且必不可少的操作。

可以将ANN算法分为三个不同的类别;树、哈希和图形。

这里进行一些快速了解，还有更多的近似最近邻算法，见下面参考资料。

2、HNSW

了解本专栏 订阅专栏 解锁全文
机器学习笔记 - Facebook AI Similarity Search（Faiss）简介
学以致用 知行合一
06-30 1365
Facebook AI Similarity Search （Faiss）是高效相似性搜索最受欢迎的轮子之一。给定一组向量，我们可以使用 Faiss 对它们进行索引——然后使用另一个向量（查询向量），我们在索引中搜索最相似的向量。它包含搜索任何大小的向量集的算法，除非超出RAM的大小。它还包含用于评估和参数优化的支持代码。Faiss 是用 C++ 编写的，带有 Python/numpy 的完整包装器。一些最有用的算法是在 GPU 上实现的。它主要由 Meta 的基础 AI 研究小组开发。
ElasticSearch学习篇11_ANNS之基于图的NSW、HNSW算法
tencentes的博客
04-27 944
往期博客ElasticSearch学习篇9_文本相似度计算方法现状以及基于改进的 Jaccard 算法代码实现与效果测评_elasticsearch 文字相似度实现方法-优快云博客根据论文对文本相似搜索现状做了一个简要总结，然后对论文提到的改进杰卡德算法做了实现，并结合业务场景测评，另外对其他两种改进杰卡德算法做了测评总结适用的业务场景。面对多维数据，空间紧邻搜索被应用在多种场景的检索需求，如人脸识别、图片搜索、商品的推荐搜索等。
人工神经网络（ANN）模型
weixin_55010563的博客
05-16 416
在操作过程中，通常会使用优化器，如随机梯度下降（Stochastic Gradient Descent，SGD）及其改进版本 Adam、Adagrad 等，这些优化器通过不同的策略调整学习率（更新的步长），以更高效地找到使损失函数收敛的参数组合。人工神经网络由大量神经元相互连接构成，根据连接方式的不同，组成不同的网络结构，其中一种典型的网络结构是全连接前馈式神经网络，它由多个神经元完全地逐层相互连接，也叫做多层感知机（Multilayer Perceptron，MLP），包括输入层、隐含层、输出层。
ANN: Approximate Nearest Neighbors（近似最近邻分类算法）
02-23
由国外著名大学编写的非常有效近似最近邻分类算法，可直接使用，也可作为学习
ANN和KNN区别
最新发布
ttest11的博客
06-13 770
KNN（精确最近邻）ANN（近似最近邻）精度最高，绝对最优稍低（~99%以上，参数可调）速度慢（全量暴力遍历）快（近似索引结构）适用小数据or离线静态场景大数据、低延迟在线服务算法暴力/排序搜索IVF、PQ、LSH、HNSW等典型应用基本检索/原型实验生产环境大规模召回、搜索问题背景给定一个大规模向量集合和一个查询向量，要求在统计时间和准确率折中的情况下，快速找出最“接近”（欧氏、余弦等距离）的Top-K邻近向量。核心思想允许少量查全率损失，极大地提升搜索速度。
ANN（Approximate Nearest Neighbor，近似最近邻）
ruleng8662的博客
12-25 1589
ANN 是在高维空间中平衡速度与精度的一种近似算法，其核心在于通过构建高效的数据结构，快速查找目标点的近邻。随着应用需求的增加和硬件性能的提升，ANN 技术将继续在大规模数据检索中扮演重要角色。是一种在高维空间中查找与目标点最接近的点的算法。它特别适合于处理大规模、高维数据集，能够在保证高检索精度的同时显著提高效率，因此被广泛应用于推荐系统、图像检索、语音识别等场景。如果有更具体的场景需要探讨，可以进一步细化！
向量相似度检索问题（近似近邻搜索算法ANN）
xiaochuideai的博客
06-20 2402
向量检索被广泛应用于图像相似度匹配，视觉检测等场景。此片文章是对GGNN论文中探索过程的简单记录。仅供大家参考，部分代码与自己的测试数据集格式有关。若有不明之处，望自琢。
算法笔记 近似最近邻查找（Approximate Nearest Neighbor Search，ANN）
qq_40206371的博客
09-04 4039
也就是说，如果两个点 p 和 q 距离很近，那么它们被哈希到同一个桶的概率应该很高。也就是说，如果两个点 p 和 q 距离很远，那么它们被哈希到同一个桶的概率应该很低。: 如果 distance(p,q)≤r，则 h(p)=h(q) 的概率较高。: 如果distance(p,q)≥R，则 h(p)=h(q) 的概率较低。在搜索过程中，一旦找到一个与查询点距离在某个阈值范围内的点，就停止搜索。这样可以加速查找过程，但可能会错过更近的点。
高维数据的快速最近邻算法FLANN
热门推荐
格物致知
07-14 2万+
高维数据的可伸缩最近邻算法FLANN 1.     简介 在计算机视觉和机器学习中，对于一个高维特征，找到训练数据中的最近邻计算代价是昂贵的。对于高维特征，目前来说最有效的方法是 the randomized k-d forest和the priority search k-means tree，而对于二值特征的匹配 multiple hierarchical clusteringtrees则
掌握近似最近邻搜索：一系列使用Python的ANN教程
- **近似最近邻居（Approximate Nearest Neighbor，ANN）算法**：在大规模数据集上应用传统NN算法时，计算量可能变得巨大，因此发展出了ANN算法。ANN是一种快速的算法，它提供了一个近似的最接近点，速度上比精确...
AI基于近邻图的向量搜索（一）
2301_81887304的博客
01-20 1175
于是，问题最终变成了。因此，微软提出了SPTAG，通过结合树和图，在弥补各自的不足的基础上，还做出了一定的优化。二叉搜索树的数据仅有一维，而对于多维数据，我们可以在每次划分时选择其中的任意一维作为划分值，若数据中选定的某一维度的值小于等于划分值，归入左子树，大于划分值则归入右子树。当我们需要预测一个新的点类别时，我们将该点分别与K个类别的中心点计算距离，距离最近的中心点的类别即为新的点的类别。利用向量的表示，我们可以将数据库的内容全部转换成向量，再将用户的搜索输入用同样的算法转换成在同一个空间的向量。
快速近似近邻算法库FLANN.zip
07-18
FLANN 库全称是Fast Library for Approximate Nearest Neighbors，它是目前最完整的（近似）最近邻开源库。不但实现了一系列查找算法，还包含了一种自动选取最快算法的机制。 FLANN 用 C 编写，包含以下语言的绑定：C、MATLAB、Python 和 Ruby 。 标签：FLANN
近似最近邻搜索算法
Zsusan7的博客
04-22 3010
定义： 采用分而治之思想，将原始数据通过映射方法划分到不同的向量空间，针对大规模的搜索任务，通过映射函数在向量相似的空间进行遍历查询。 常用的几种算法： 基于图的索引量化法：HNSW 基于树：Annoy 基于哈希：SLH HNSW（Hierarchical Navigable Small World） 是通过贪心算法遍历图，找出当前数据集中的最近邻点（局部最小值），以此作为插入并构建生成层状网络图，通过在下一层中不断寻找最近邻点插入构建，从而完成对特征向量集的维度分层、数据压缩、索引生成。检索时，采用自上而
Elasticsearch：理解近似最近邻 (ANN) 算法
Elastic 中国社区官方博客
05-01 2835
如果你是在互联网出现之前长大的，你会记得找到新喜好并不总是那么容易。我们是在无意中听到收音机里的新乐队时发现他们的，是因为忘了换频道偶然看到一个新电视节目的，也是几乎完全依据游戏封面的图片来找到新喜欢的视频游戏的。如今，情况大为不同。Spotify 会向我推荐符合我的口味的艺术家，Netflix 会突出显示它知道我们会喜欢的电影和电视节目，Xbox 知道我们接下来可能想玩什么。
近似最近邻（Approximate Nearest Neighbor, ANN）检索
拾遗
03-03 5706
参考链接 干货 | 一文读懂 ANN 一文尽览近似最近邻搜索中的哈希与量化方法 最近邻检索（NN）和近似最近邻（ANN）检索 Facebook深度学习应用 | 最近邻搜索算法 速度数百倍之差，有人断言KNN面临淘汰，更快更强的ANN将取而代之 ...
近似最近邻算法查找（ann）--01
suibianshen2012的专栏
09-27 4421
Ann, Approximate Nearest Neighbor的缩写，就是近似最近邻搜索。 在机器学习领域，语义检索，图像识别，推荐系统等方向常涉及到的一个问题是：给定一个向量X=[x1,x2,x3...xn]，需要从海量的向量库中找到最相似的前K个向量。通常这些向量的维度很高，对于在线服务，用传统的方法查找是非常耗时的，容易使得时延上成为瓶颈，因此业界通用的方式就是将最相似的查找转换成An...
近似最近邻算法-annoy解析
weixin_30815469的博客
01-17 838
转自https://www.cnblogs.com/futurehau/p/6524396.html Annoy是高维空间求近似最近邻的一个开源库。 Annoy构建一棵二叉树，查询时间为O(logn)。 Annoy通过随机挑选两个点，并使用垂直于这个点的等距离超平面将集合划分为两部分。 如图所示，图中灰色线是连接两个点，超平面是加粗的黑线。按照这个方法在每个子集上迭代进行划分。 ...
机器学习V1.0—人工神经网络算法（ANN）
weixin_44078774的博客
12-24 2487
ANN感觉是在解多元组方程。定义函数，权值（可以看做多元方程组的常量的值）。通过不断调整权值，得到最终的权重值，该过程有点像动态规划的过程。我认为ANN的本质是通过定义函数，找到最终的权重。[1]: 机器学习（第四章 人工神经网络）
近似最近邻查找的几种方法
bulling的博客
06-24 1453
近似最近邻查找（Approximate Nearest Neighbor Search, ANNS）是一种在高维空间中查找与查询点距离最近的若干个点的技术。与精确最近邻查找不同，近似最近邻查找允许一定程度的误差，以换取更高的查询效率和更低的计算成本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坐望云起

如果觉得有用，请不吝打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值