一文读懂 Faiss 乘积量化（PQ）索引技术

已于 2025-01-31 21:27:06 修改
阅读量997 收藏 26
点赞数 23
CC 4.0 BY-SA版权
分类专栏： 推荐系统 文章标签： faiss 乘积量化 PQ量化
于 2025-01-31 21:26:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_22866291/article/details/145408052

1. 乘积量化（PQ）核心原理

在这里插入图片描述

1.1 向量空间分解

给定维度为 DDD 的原始向量 x∈RDx \in \mathbb{R}^D

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一文读懂 Faiss 倒排文件（IVF）索引技术
进一步有进一步的欢喜~
01-31 1832
Faiss 中的 IVF 索引通过聚类的思想，有效地解决了大规模高维向量相似性搜索的效率问题。通过合理的参数调优和优化策略，如与其他索引结合、多级聚类和动态更新等，IVF 索引可以在不同的应用场景中发挥出最佳性能。尽管面临数据动态性、高维数据等挑战，但随着技术的不断发展，IVF 索引有望与新兴技术融合，不断拓展其应用领域和提升性能。
推荐系统[九]项目技术细节讲解z3：向量检索技术与ANN搜索算法[KD树、Annoy、LSH局部哈希、PQ乘积量化、IVFPQ倒排乘积量化、HNSW层级图搜索等]，超级详细技术原理讲解
丨汀、的博客
03-09 1211
如何表达一个物品/元素?在现实世界中，我们认识和理解一个事物，总是会想办法捕捉它的一些特质或者属性。比如路边一朵红色的野花，那么仅从颜色这个维度，我们可以使用离散的0，1来表达。如 【1，0，0】 但仅从颜色描述是不够的，还有花的种类，气味，高度，用途等等。把所有的属性枚举出来，排列好位置，元素对应属性的位置点亮，那么一朵沁人心脾的红色梅花 = 【1，0，0，1，0，0，1，0】 上面分别就是 one-hot 与multi-hot的编码标识，在传统机器学习中比较常见。但这样会遇到几个问题:embedding
Faiss为啥这么快？原来是量化器在做怪！
xian0710830114的专栏
02-18 3799
Faiss（Facebook AI Similarity Search）是一个面向相似性搜索和聚类的开源库，专注于高维向量的快速相似性搜索。该库提供了一系列高效的算法和数据结构，可用于处理大规模高维向量数据，广泛应用于信息检索、机器学习和深度学习等领域。本文主要介绍Faiss中包含的量化器，量化器可以将高维向量映射到低维码本（codebook）以便进行快速近似最近邻搜索。当然在介绍量化器之前还有说一些前置的概念。
Faiss PQ乘积量化的学习总结
flyingbird
02-21 3076
好久么有写东西了，看来做一件事情，坚持真的很难。今天为什么想到写东西，是因为我刚才看到之前学过的东西又两眼摸黑了，脑子是个好东西，可惜我么有，哈哈。俗话说，好记性不如烂笔头，我今天就把他记录下来，以免我的老年痴呆复发，哈哈 首先，简单介绍下Faiss，由Facebook开发并且开源的一款针对聚类和相似性搜索的库，使用C++语言编写，并提供Python接口，内部一些...
Faiss 索引深度解析：从基础到实战
最新发布
2403_87387270的博客
05-09 1315
通过以上代码示例，我们对 Faiss 的多种索引类型有了更深入的了解。在实际应用中，我们需要根据数据规模、查询效率和准确性要求等因素，选择合适的索引类型。对于小规模数据，Flat 索引可以保证准确性；对于中型数据，倒排索引是不错的选择；而处理大规模高维数据时，复合索引往往能带来更好的性能表现。此外，在使用 Faiss 时，还可以进一步调整索引参数、进行性能测试和添加更多评估指标，以优化搜索效果。如果你在实际项目中也在使用 Faiss，欢迎在评论区分享你的经验和遇到的问题，让我们共同学习进步！
Faiss之PQ详解
半城月的专栏
02-16 4389
Faiss中常常利用PQ来节省空间和加速搜索，本文从PQ的基本结构，训练以及搜索等方面，结合源码剖析了PQ的原理。
乘积量化（PQ）
qq_26391203的博客
12-12 2541
乘积量化是怎样应用在图像检索中的：”’ 经过量化学习后，对于给定的查询样本，通过查表的方式可以计算出查询样本和库中样本的非对称距离 ”’ 乘积量化简述：向量量化的方法中比较典型的代表是乘积量化(PQ, Product Quantization)方法，它将特征空间分解为多个低维子空间的笛卡尔乘积，然后单独地对每一个子空间进行量化。在训练阶段，每一个子空间经过聚类后得到kk个类心(即量化器)，所有这些
乘积量化pq：将高维向量压缩 97%
uncle_ll的博客
07-14 1982
向量快速搜索算法 pq量化
ANN之乘积量化PQ
seeker的博客
04-07 6128
一、何为乘积量化 乘积量化（Product Quantization）简称 PQ。是和VLAD算法由法国INRIA实验室一同提出来的，为的是加快图像的检索速度，所以它是一种检索算法。现有的检索算法存在一些弊端，如 kd树不适合维度高的数据，哈希（LSH）适用中小数据集，而乘积量化这类方法，内存占用更小、数据动态增删更方便。 二、算法流程 PQ系列的算法流程分三个阶段：训练、量化、查询 2.1 训练 分段：假设样本向量维度D=64，PQ算法会先将原始的D维向量分成M段，假设M=8，那么一个原始向量就被分成8
工业级向量检索核心技术：IVF-PQ原理与全流程解析
进一步有进一步的欢喜~
04-19 774
在大规模高维向量检索场景中，IVF-PQ（倒排索引结合乘积量化）凭借“粗筛范围+细算距离”的双重加速策略，成为核心解决方案。本文将深入解析其原理与全流程，助力开发者掌握这一关键技术。
一文讲透向量数据库 2.0：从索引原理到 RAG 大模型全链路架构
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-07 1177
以前，我们谈的是“用 Faiss 跑检索”。✅多模态向量统一检索（图像、语音、结构化表格都能嵌入）✅多模型共享知识库（Qwen + DeepSeek + GLM 同源调用）✅流式嵌入 + 自动同步文档（文档一变，系统自动更新）✅检索 × Agent 联动（向量检索结果可以驱动动作链）✅与 CI/CD / 反馈系统打通（trace_id × 评分 × 自动再训练）这一篇文章，我们围绕“什么是向量数据库 2.0”为什么大模型时代需要向量数据库向量数据库的原理、结构与算法差异。
Faiss PQ 乘积量化
进一步有进一步的欢喜~
06-08 1521
在ANN近似最近邻搜索中，向量量化方法又以乘积量化(PQ, Product Quantization)最为典型。结合例子对PQ乘积量化、倒排乘积量化(IVFPQ)做一种更加直观的解释。
Github 15K！ 亿级向量相似度检索库Faiss 原理+应用
Kaiyuan_sjtu的博客
11-25 8843
作者|Chilia整理|NewBeeNLP最近在使用ColBERT双塔结构进行文本召回，其中必然要涉及到向量相似度查询，如果只用brute-force方法的复杂度实在太高，...
乘积量化（Product Quantization）
阿哥的专栏
12-09 971
乘积量化 1。简介 　　乘积量化（PQ）算法是和VLAD算法是由法国INRIA实验室一同提出来的，为的是加快图像的检索速度，所以它是一种检索算法，在矢量量化（Vector Quantization，VQ）的基础上发展而来，虽然PQ不算是新算法，但是这种思想还是挺有用处的，本文没有添加公式。 　　它原文中是接在VLAD算法后面，假设我们使用VLAD算法获得了1M的图像表达向量，向量的维度为D=128，则对于一幅查询图像来说，我们需要计算1M个余弦距离，这样实时性就比较差。所以如何加快这种距离的计算速度就
向量数据库：faiss的IndexPQ中PQ的图解+实现质心表的融合
ResumeProject的博客
01-06 1286
中包含pq对象中包含。其尺寸布局为 M * ksub * dsub：（M、ksub、dsub）（8，256，8）2n质心表中的具体数值。
向量数据库FAISS之三：FAISS 索引
weixin_46034279的博客
11-19 2592
平面索引只是将向量编码为固定大小的代码，并将它们存储在 字节的数组中。在搜索时，所有索引向量都被顺序解码并与查询向量进行比较。对于 ，比较是在压缩域中完成的，速度更快支持操作平面索引类似于 C++ 向量。它们不存储向量 ID，因为在许多情况下顺序编号就足够了。所以：向量编码可用的编码是（压缩率由小到大）：一种典型的加速方法是采用 k-means 等分区技术，但代价是失去找到最近邻居的保证。相应的算法有时也被称为单元探测法。我们使用基于多重探测的基于分区的方法。这样做时，仅将数据库的一小部分与查询进行比较：
乘积量化（Product Quantization）算法原理
u013250861的博客
11-01 1297
乘积量化（PQ）算法是和VLAD算法是由法国INRIA实验室一同提出来的，为的是加快图像的检索速度，所以它是一种检索算法，在矢量量化（Vector Quantization，VQ）的基础上发展而来，虽然PQ不算是新算法，但是这种思想还是挺有用处的。它原文中是接在VLAD算法后面，假设我们使用VLAD算法获得了1M（1024K）的图像表达向量，向量的维度为D=128，则对于一幅查询图像来说，我们需要计算1M（1024K）个余弦距离，这样实时性就比较差。
sqlserver 索引页一文读懂
03-22
### SQL Server 索引页详解 #### 1. 索引的概念及其重要性 索引是一种特殊的数据结构，用于加速数据库查询操作。它通过提供一种类似于书籍目录的方式，使得查找特定记录变得更加高效[^1]。 在 SQL Server 中，索引被设计成 B 树（B-tree）的形式存储。这种树形结构允许系统以对数时间复杂度完成数据定位，从而显著提升性能。对于大规模表而言，合理使用索引能够极大地减少 I/O 开销并优化查询效率。 #### 2. 索引页的组成与工作原理 SQL Server 的索引由多个层次构成，每一层都包含若干个页面（Page）。这些页面分为两类： - **叶级页面（Leaf Level Pages）**: 存储实际的数据行或者指向数据行的指针。 - **非叶级页面（Non-leaf Level Pages 或 Index Nodes）**: 起到导航作用，帮助快速定位目标数据所在的叶级页面。 具体来说： - 当创建聚集索引时，叶节点会直接保存完整的数据行；而非聚集索引则仅保留键值以及对应的 RID（Row Identifier）或其他形式的引用地址。 - 非叶子节点上每条记录包含了两个部分——键值和子节点位置信息。这样可以从根节点逐层向下遍历直到找到匹配项所在的具体物理位置[^4]。 #### 3. 实现细节分析 以下是关于如何构建及维护索引的一些关键技术要点： ##### （1）B+ Tree 结构特点 为了进一步增强读取效率，SQL Server 使用的是改进版的 B+ tree 数据结构，在传统基础上做了如下调整： - 所有关键字均出现在叶子结点中，并按顺序排列形成链表； - 内部节点只负责指引方向而不携带任何真实数据； 这样的改动确保了范围扫描更加连续化，同时也便于并发控制机制发挥作用[^2]。 ##### （2）填充因子设置原则 填充因子决定了每个索引页初始状态下能容纳多少比例的有效负载量，默认情况下为 100%，意味着完全填满。然而这可能引发频繁分裂现象进而影响整体表现。因此建议依据实际情况灵活设定较低数值(比如70%-80%)来预留扩展空间，降低未来重组成本的同时保持较好的访问速度平衡状态。 ##### （3）碎片整理策略 随着时间推移，由于增删改等原因不可避免会产生逻辑或物理上的片段分布情况。定期执行 `ALTER INDEX ... REORGANIZE` 或者更彻底些采用 `REBUILD` 方法可以帮助恢复理想布局形态，改善磁盘利用率并缩短延迟响应时间。 #### 4. 示例代码展示 下面给出一段简单的 T-SQL 创建语句作为参考实例说明如何定义不同类型的单列或多列组合索引对象: ```sql -- 创建唯一聚集索引 CREATE UNIQUE CLUSTERED INDEX IX_EmployeeID ON Employees(EmployeeID); -- 添加复合非聚簇索引 CREATE NONCLUSTERED INDEX IX_LastName_FirstName ON Employees(LastName, FirstName); ``` 以上命令分别演示了一个基于主键字段 EmployeeID 上建立起来的独特有序序列模式，还有另一个按照姓氏加名字共同决定次序关系的辅助检索路径案例。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

进一步有进一步的欢喜

您的鼓励将是我创作的最大动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值