【Faiss】PQ和IVF介绍

最新推荐文章于 2025-10-23 16:19:39 发布
原创 最新推荐文章于 2025-10-23 16:19:39 发布 · 743 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客链接指向一篇关于Faiss中PQ和IVF的介绍文章。Faiss是信息技术领域工具，PQ和IVF是其中相关技术，具体内容可通过链接查看。
一文读懂 Faiss 倒排文件（IVF）索引技术
进一步有进一步的欢喜~
01-31 2330
Faiss 中的 IVF 索引通过聚类的思想，有效地解决了大规模高维向量相似性搜索的效率问题。通过合理的参数调优和优化策略，如与其他索引结合、多级聚类和动态更新等，IVF 索引可以在不同的应用场景中发挥出最佳性能。尽管面临数据动态性、高维数据等挑战，但随着技术的不断发展，IVF 索引有望与新兴技术融合，不断拓展其应用领域和提升性能。
一文读懂 Faiss 乘积量化（PQ）索引技术
进一步有进一步的欢喜~
01-31 1207
PQ索引通过牺牲少量精度换取显著的内存和计算效率提升，是处理十亿级向量检索的核心技术。实际应用中需根据数据特征精细调节参数，结合业务场景选择合适的变种索引
Faiss之PQ详解
半城月的专栏
02-16 4728
Faiss中常常利用PQ来节省空间和加速搜索，本文从PQ的基本结构，训练以及搜索等方面，结合源码剖析了PQ的原理。
faiss 暴搜/ivf/ivfpq
u010246947的专栏
03-10 5438
一、总体 总揽 faiss提供了许多类型的近邻搜索算法实现，如下： 一级分类 二级分类 特点 IndexBinary IndexBinaryFlat Binary指以汉明距离作为度量 IndexBinaryFromFloat IndexBinaryHash IndexBinaryHNSW In...
大规模向量检索算法IVF_FLAT和HNSW介绍
最新发布
m0_53830442的博客
10-23 1107
IVF_FLAT和HNSW是两种主流的大规模向量检索算法，均属于近似最近邻搜索方法。IVF_FLAT通过聚类分桶实现高效检索，在倒排列表中进行暴力搜索，适合平衡速度与精度的场景；HNSW基于多层图结构，通过分层导航快速定位相似向量，召回率高、搜索速度快，适用于高精度要求的任务。两者在内存占用、构建速度和检索效率上各有优势，选择时需综合考虑数据规模、召回需求和响应时间等因素。实际应用中可单独或组合使用，以优化RAG系统和向量检索性能。
Faiss之IVF详解
半城月的专栏
02-15 9432
IVF是Faiss的一大特色，大大的提升了向量检索的速度。好奇的我扒了一下IVF的源码，来悄悄告诉你，IVF到底怎么回事。
Faiss的第三个示例 -IVFPQ
二分掌柜的
08-11 1909
Faiss的第三个示例 -IVFPQ flyfish import mkl mkl.get_max_threads() import numpy as np d = 64 # dimension nb = 100000 # database size nq = 10000 # nb of queries np.random.seed(1234)
Faiss IVFPQ实现
优快云_WHB的博客
02-28 1209
Faiss IVFPQ实现流程介绍
Faiss(8)：IVFPQ-Add过程分析
翔底的博客
09-12 1537
1. 说明 已经完成训练的向量仍然只是一个空壳子，还需要向里面添加dataset包含的向量，才能用于后期的搜索。 2. 过程分析 2.1 app for n, s in enumerate(range(4010,4010+enu*10,10)): np.random.seed(s) xb = np.random.random((seg,d)).astype('float32') xb[:,0] += (np.arange(seg)+n*seg) * 1.0/nb index.
faiss - PQ(ProductQuantizer) 源码详解
05-14 884
PQ (Product Quantizer), 相对与普通的Quantizer而言 普通Quantizer 将整个向量通过单次聚类达到量化。 Product Quantizer 则通过对向量分段(这里的分段是针对向量本身的，例如128维的向量分为2个64维的向量)，每段分别聚类得到多个量化结果（每段一个量化结果），这样的好处是同较小的码本来表达非常大量的码 把256个128维的向量分为4段，每段有256个32维的向量，每段独立训练中心点，这样在查询时从每个段中选一个最近的中心点(可以采用排列组合的思想
FaissPQ索引简介
zhuanzhuantech的博客
09-22 1413
随着神经网络的发展，embedding的思想被广泛的应用在搜推广、图像、自然语言处理等领域，在实际的工业场景中，我们常常会遇到基于embedding进行文本、图像、视频等物料的相关内容检索问题，这类问题通常要求在几毫秒的时间内完成百万甚至亿级别候选物料上的检索。主要影响效果的参数包括粗糙量化类簇个数、分块数量、分块字节等影响索引训练的参数，查询的类簇数量这种影响查询阶段的参数，除此之外PQ索引类型对查询效果也有很大影响，可以尝试PQ，OPQ，PQ with PCA等不同索引。
Faiss PQ乘积量化的学习总结
flyingbird
02-21 3134
好久么有写东西了，看来做一件事情，坚持真的很难。今天为什么想到写东西，是因为我刚才看到之前学过的东西又两眼摸黑了，脑子是个好东西，可惜我么有，哈哈。俗话说，好记性不如烂笔头，我今天就把他记录下来，以免我的老年痴呆复发，哈哈 首先，简单介绍下Faiss，由Facebook开发并且开源的一款针对聚类和相似性搜索的库，使用C++语言编写，并提供Python接口，内部一些...
【Faiss】源码阅读（四）——IVFPQ更低的内存占用
怡宝2号
08-12 1335
1. 理解PQ乘积量化 请参考： https://zhuanlan.zhihu.com/p/114029796 https://www.cnblogs.com/mafuqiang/p/7161592.html 2. 整体思路 这种索引方式比前两种复杂多了。现在还是不够清晰。下面对主要思路做下记录 训练 训练第一阶段的kmean 随机下采样 100×256个样本 训练kmean 训练PQ量化 随机下采样256×256（256个类别，每个类最多有256个样本）个样本 计算下采样样本和kme
Faiss(7)：IVFPQ-train训练过程分析
翔底的博客
09-12 4061
说明 本篇主要分析IVFPQ类型的索引的训练过程。遵循从APP -> 到faiss core的实现的流程。 过程分析 app 假设现在已经有了一个可用的IVFPQ类型索引index实例，那么可以直接在程序中调用： index.train(learning_d) 这里的learning_d表示训练集，这里的值是database总数与学习率的乘积。 faiss core train() IndexIVFPQ类里面没有override train函数，所以上面的接口调用的是其父类IndexIVF下定义的t
Faiss(17)：IndexIVFPQ文件格式分析
翔底的博客
01-27 2307
1. 说明 Faiss版本：1.6.3 nb = 1M, nlist = 4000, d = 64, m = 64, nbits = 8 2. 应用层接口 python接口 #将生成的index实例保存到index_name.bin命名的文件中 faiss.write_index(index, "index_name.bin") c++接口 在C++代码中，write_index()函数是一个在faiss命名空间下的独立的函数，即它不依赖于某个特定的类实例，而在代码中可直接调用。如： //demo.c
向量数据库：faiss的IndexPQ中PQ的图解+实现质心表的融合
ResumeProject的博客
01-06 1470
中包含pq对象中包含。其尺寸布局为 M * ksub * dsub：（M、ksub、dsub）（8，256，8）2n质心表中的具体数值。
Faiss 中的几种IVF
03-18
以下是关于 Faiss 的不同 IVF（Inverted File Indexing）类型的详细介绍。 #### 1. **基本概念** IVF 方法的核心思想是通过聚类算法将数据划分为多个簇（cluster），并为每个簇分配一个唯一的 ID。查询时，仅需在与...
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

张博208

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值