倒排索引在亿级向量数据近似最近邻搜索下的优势（IVF-HNSW）

最新推荐文章于 2025-11-12 09:42:16 发布
原创 最新推荐文章于 2025-11-12 09:42:16 发布 · 3.7k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ANNS #向量检索 #近邻图 #倒排索引 #亿级向量

该论文针对亿级数据的近邻搜索问题，提出了一种改进的倒排索引方法。通过对原始倒排索引进行grouping和pruning策略优化，实现了在大规模数据上提高压缩精度和查询召回率。grouping策略通过细分区域并应用PQ压缩，而pruning则通过与区域中心的距离进行剪枝，减少无效搜索。实验表明，这种方法在billion-scale数据上优于传统的倒排多索引，具有更大的优化潜力。

个人主页

简介

论文题目：Revisiting the inverted indices for billion-scale approximate nearest neighbors，2018年发表在ECCV会议上。论文在分析inverted index在大规模数据上的优势（vs. IMI）并借助proximity graph （HNSW）缓解其不足，在billion-scale数据上实现更优ANNS。

主要内容

提出grouping和pruning策略优化inverted index，提升压缩精度和查询召回率。grouping策略将聚类得到的区域进行细分，得到更小的区域并利用PQ压缩；在grouping基础上，pruning可实现更细粒度的定位。通过HNSW定位最近的几个区域（聚簇）

动机

倒排多索引（inverted multi-index, IMI）是一种有效的亿级数据检索方案。但IMI存在问题：IMI划分的很多区域没有数据点，导致有效区域数量较少，可能引起搜索花费大量时间在空区域。本文认为这主要由于IMI为不同的子空间独立学习码本，然而实际上不同子向量（子空间）并不是统计独立的，不同子空间之间可能是非常相关的（比如，CNN产生的descriptors）。

当前对IMI（或PQ）的优化研究大都提升了召回率，但他们的运行时间普遍为10ms左右，在实际场景中还是比较慢。

IMI vs. inverted index

IMI的优点：（1）精确的候选列表；（2）索引和查询效率高。（在码本尺寸K较小时）

缺点：但在K超过 2 14 2^{14}

最低0.47元/天 解锁文章
推荐系统[九]项目技术细节讲解z3：向量检索技术与ANN搜索算法[KD树、Annoy、LSH局部哈希、PQ乘积量化、IVFPQ倒排乘积量化、HNSW层级图搜索等]，超级详细技术原理讲解
丨汀、的博客
03-09 1292
如何表达一个物品/元素?在现实世界中，我们认识和理解一个事物，总是会想办法捕捉它的一些特质或者属性。比如路边一朵红色的野花，那么仅从颜色这个维度，我们可以使用离散的0，1来表达。如 【1，0，0】 但仅从颜色描述是不够的，还有花的种类，气味，高度，用途等等。把所有的属性枚举出来，排列好位置，元素对应属性的位置点亮，那么一朵沁人心脾的红色梅花 = 【1，0，0，1，0，0，1，0】 上面分别就是 one-hot 与multi-hot的编码标识，在传统机器学习中比较常见。但这样会遇到几个问题:embedding
一文读懂 Faiss 倒排文件（IVF）索引技术
进一步有进一步的欢喜~
01-31 2267
Faiss 中的 IVF 索引通过聚类的思想，有效地解决了大规模高维向量相似性搜索的效率问题。通过合理的参数调优和优化策略，如与其他索引结合、多级聚类和动态更新等，IVF 索引可以在不同的应用场景中发挥出最佳性能。尽管面临数据动态性、高维数据等挑战，但随着技术的不断发展，IVF 索引有望与新兴技术融合，不断拓展其应用领域和提升性能。
Faiss之IVF详解
半城月的专栏
02-15 9392
IVF是Faiss的一大特色，大大的提升了向量检索的速度。好奇的我扒了一下IVF的源码，来悄悄告诉你，IVF到底怎么回事。
论文解读《Revisiting Neural Retrieval on Accelerators》
weixin_43918046的博客
06-18 1252
信息检索和推荐应用中，检索任务是从大规模的语料库中找到一小部分相关的候选项。检索的关键组成部分是建模（用户，物品）的相似度，通常表示为两个学习嵌入向量的点积。这种形式允许高效的推理，通常称为最大内积搜索（MIPS）。尽管点积在实践中非常流行，但它无法捕捉复杂的用户-物品交互，这些交互是多方面的且可能具有较高的级别。因此，我们研究了在加速器上的非点积检索设置，并提出了混合对数几率（MoL）方法，它将（用户，物品）的相似度建模为基本相似度函数的自适应组合。
Milvus——向量索引 ：IVF_FLAT
最新发布
l12345sy的博客
11-12 385
倒排索引是一种将关键词映射到文档列表的数据结构，用于快速检索。在向量搜索中，IVF_FLAT算法将这一概念应用于聚类中心：先通过K-Means聚类建立向量到聚类中心的倒排索引，搜索时先找到最近的nprobe个聚类中心，再对其中的向量进行精确距离计算。这种方法结合了倒排索引的快速筛选(IVF)和原始向量的精确比对(FLAT)，显著提升了大规模向量搜索的效率，避免了暴力扫描的计算开销。
HNSW&NSG-基于图的ANN近邻搜索
fs1341825137的博客
08-04 2850
ANN search 搜索算法
向量相似性搜索 Part 1 —— KNN 和 倒排文件索引 IVF Inverted File Index
kanhao100的博客
03-15 631
在数据科学中，相似性搜索经常出现在NLP领域、搜索引擎或推荐系统中，需要检索查询的最相关文档或项目。为了加速搜索性能，在数据集嵌入之上构建了一个特殊的数据结构。这种数据结构称为索引。为了加速搜索性能，在数据集嵌入之上构建了一个特殊的数据结构。这种数据结构称为索引。在这个领域有很多研究，许多类型的索引已经发展出来。在选择一个索引应用于某个任务之前，有必要了解它在背后是如何操作的，因为每个索引都有不同的目的和优缺点。 在本文中，我们将研究最朴素的方法——kNN。基于kNN，我们将切换到倒排索引——用于更可扩展
开源项目推荐：IVF-HNSW 近似最近邻搜索算法库
gitblog_00186的博客
01-13 505
开源项目推荐：IVF-HNSW 近似最近邻搜索算法库 1. 项目基础介绍及编程语言 IVF-HNSW 是一个基于 近似最近邻搜索（ANN） 的开源项目，它旨在为大规模数据集提供高效的相似性搜索解决方案。该项目的核心代码使用 C++ 语言编写，以确保高效的数据处理和搜索性能。 2. 项目的核心功能 该项目的主要功能是利用 倒排索引和HNSW（Hierarchical Navigable Small ...
优化HNSW与IVF-HNSW：近似最近邻搜索算法新进展
近似最近邻（Approximate Nearest Neighbor, ANN）搜索算法是一种在大数据集上寻找最相似对象的高效技术，广泛应用于搜索与推荐系统、图像识别、自然语言处理等领域。刘凤山同学在导师申富饶教授的指导下，针对这一...
IVF-HNSW搜索算法
11-15
IVF-HNSW (Inverted File with Hierarchical Navigable Small World) 算法是一种用于大规模数据集近似最近邻搜索（Approximate Nearest Neighbor Search, ANNS）的有效方法，它特别适用于图像识别、推荐系统等需要...
IVF-HNSW搜索算法代码
11-15
IVF (Intercative Vector Fingerprinting) 加上 Hierarchical Navigable Small World (HNSW) 搜索算法是一种用于大规模近似最近邻搜索的数据结构和算法组合。在IVF-HNSW中，数据首先通过哈希函数分布到多个子空间...
【亲测免费】 ivf-hnsw 项目使用教程
gitblog_00674的博客
09-10 593
ivf-hnsw 项目使用教程 1. 项目的目录结构及介绍 ivf-hnsw/ ├── CMakeLists.txt ├── CMakeLists.txt.faiss ├── LICENSE ├── README.md ├── data/ │ ├── SIFT1B/ │ └── DEEP1B/ ├── docs/ ├── examples/ ├── faiss/ │ ├── CMake...
向量化召回算法ANN、IVF、HNSW、IVF-PQ
taoqick的专栏
10-27 2776
ANN（Approximate Nearest Neighbor） 意为近似近邻搜索，即通过模型预计算，建立索引或图以便在线检索时通过剪枝或图检索从而加速检索过程，通常为非穷尽检索。目前常用的ANN 检索方式有 IVF, HNSW, BTree, IVF-PQ。
搜索引擎（一）-- Vector Space Model 和 倒排索引
weixin_43829117的博客
12-09 1062
一、向量空间模型 1.1 布尔模型与统计学模型 最早期的消息回溯模型是布尔模型（Boolean Model），这种模型将关键词用“与或非”连接成问答语句，譬如“DBMS AND Oracle AND NOT Sybase”，然后由系统返回Yes/No的回答。这种模型的构建和使用都相当简单，但它的缺点也很明显： 布尔语句一旦变长，就会有很多层括号，读起来也很不方便。 布尔模型很难控制回溯的文档数目。 布尔模型是命中模型，且没有对文档中的关键词设置权重，无法对文档进行排名。 布尔模型是完全匹配，不支持部分匹配
Milvus 索引算法对比：FLAT、IVF、HNSW、SCANN
03-23 3167
Milvus 作为一款强大的开源向量数据库，支持多种索引算法来优化向量检索性能。不同的索引算法在搜索精度、查询速度、存储占用等方面各有特点，适用于不同的业务场景。本文将详细对比 Milvus 中的 **FLAT、IVF、HNSW、SCANN** 等索引算法，帮助开发者选择最适合自己应用需求的索引类型。
【Faiss】源码阅读（三）——IVFFlat（倒序索引）
怡宝2号
08-11 5924
摘要: 这里主要讲整个实现过程与核心思路。 1. 核心思路 前面讲的IndexFlatL2的索引方式，主要就是一种暴力搜索的方式，只是在计算的过程中针对不同的平台进行了指令集优化。 这里的IndexIVFFlat索引主要 对原始m个样本随机下采样 n×256 个样本，n：表示聚类中心点个数 对下采样的样本，采用kmean进行聚类 对原始m个底库样本，根据聚类中心进行分桶 对要查询的query，针对聚类中心进行分桶，然后采用暴力搜索的方式。 2. 实现细节 对底库数据做 n×265的随机下采样，用kme
向量数据库FAISS之五：原理(LSH、PQ、HNSW、IVF)
weixin_46034279的博客
11-19 3940
Code是数据点量化后对应质心的索引，用来表示该数据点最接近的质心。Codebook是质心的集合，表示数据点被聚类后可以映射到的典型位置。其思想是将空间分解为低维子空间的笛卡尔积，并分别对每个子空间进行插值。向量由其子空间量化索引组成的短码表示。两个向量之间的欧氏距离可以有效地从它们的代码估计。非对称版本提高了精度，因为它计算了向量和代码之间的近似距离。实验结果表明，我们的方法有效地搜索最近的邻居，特别是在与倒排文件系统相结合。上面有点乱，总结一下核心思想。
开源项目ivf-hnsw常见问题解决方案
gitblog_00832的博客
01-05 455
开源项目ivf-hnsw常见问题解决方案 1. 项目基础介绍和主要编程语言 **项目介绍：**ivf-hnsw是一个开源项目，它是基于论文《Revisiting the Inverted Indices for Billion-Scale Approximate Nearest Neighbors》实现的代码。该项目主要针对大规模近似最近邻搜索问题，提供了一种高效的方法，适用于处理数十亿级别的数据...
推荐算法：HNSW【推荐出与用户搜索的类似的/用户感兴趣的商品】
Drug discovery
12-11 1002
而要解决这个问题，可以有多种实现方法，这里所要说的HNSW算法就是目前比较常用的一种搜索算法，它算是其前作NSW算法的一个升级版本，但是两者的本质都是基于一个朴素的思路，就是通过图连接的方式给所有的N 个候选元素事先地定义好一个图连接关系，从而可以将前述的算法复杂度当中的N 的部分给减小掉，从而优化整体的检索效率。其目的就是在极大量的候选集当中如何快速地找到一个query最近邻的k个元素。：Annoy，KD-Tree， LSH， PQ，NSW， HNSW等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值