一文读懂 Faiss 乘积量化（PQ）索引技术

已于 2025-01-31 21:27:06 修改
阅读量996 收藏 26
点赞数 23
CC 4.0 BY-SA版权
分类专栏： 推荐系统 文章标签： faiss 乘积量化 PQ量化
于 2025-01-31 21:26:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_22866291/article/details/145408052

1. 乘积量化（PQ）核心原理

在这里插入图片描述

1.1 向量空间分解

给定维度为 DDD 的原始向量 x∈RDx \in \mathbb{R}^D

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一文读懂 Faiss 倒排文件（IVF）索引技术
进一步有进一步的欢喜~
01-31 1829
Faiss 中的 IVF 索引通过聚类的思想，有效地解决了大规模高维向量相似性搜索的效率问题。通过合理的参数调优和优化策略，如与其他索引结合、多级聚类和动态更新等，IVF 索引可以在不同的应用场景中发挥出最佳性能。尽管面临数据动态性、高维数据等挑战，但随着技术的不断发展，IVF 索引有望与新兴技术融合，不断拓展其应用领域和提升性能。
推荐系统[九]项目技术细节讲解z3：向量检索技术与ANN搜索算法[KD树、Annoy、LSH局部哈希、PQ乘积量化、IVFPQ倒排乘积量化、HNSW层级图搜索等]，超级详细技术原理讲解
丨汀、的博客
03-09 1211
如何表达一个物品/元素?在现实世界中，我们认识和理解一个事物，总是会想办法捕捉它的一些特质或者属性。比如路边一朵红色的野花，那么仅从颜色这个维度，我们可以使用离散的0，1来表达。如 【1，0，0】 但仅从颜色描述是不够的，还有花的种类，气味，高度，用途等等。把所有的属性枚举出来，排列好位置，元素对应属性的位置点亮，那么一朵沁人心脾的红色梅花 = 【1，0，0，1，0，0，1，0】 上面分别就是 one-hot 与multi-hot的编码标识，在传统机器学习中比较常见。但这样会遇到几个问题:embedding
Faiss为啥这么快？原来是量化器在做怪！
xian0710830114的专栏
02-18 3798
Faiss（Facebook AI Similarity Search）是一个面向相似性搜索和聚类的开源库，专注于高维向量的快速相似性搜索。该库提供了一系列高效的算法和数据结构，可用于处理大规模高维向量数据，广泛应用于信息检索、机器学习和深度学习等领域。本文主要介绍Faiss中包含的量化器，量化器可以将高维向量映射到低维码本（codebook）以便进行快速近似最近邻搜索。当然在介绍量化器之前还有说一些前置的概念。
Faiss PQ乘积量化的学习总结
flyingbird
02-21 3076
好久么有写东西了，看来做一件事情，坚持真的很难。今天为什么想到写东西，是因为我刚才看到之前学过的东西又两眼摸黑了，脑子是个好东西，可惜我么有，哈哈。俗话说，好记性不如烂笔头，我今天就把他记录下来，以免我的老年痴呆复发，哈哈 首先，简单介绍下Faiss，由Facebook开发并且开源的一款针对聚类和相似性搜索的库，使用C++语言编写，并提供Python接口，内部一些...
Faiss 索引深度解析：从基础到实战
最新发布
2403_87387270的博客
05-09 1315
通过以上代码示例，我们对 Faiss 的多种索引类型有了更深入的了解。在实际应用中，我们需要根据数据规模、查询效率和准确性要求等因素，选择合适的索引类型。对于小规模数据，Flat 索引可以保证准确性；对于中型数据，倒排索引是不错的选择；而处理大规模高维数据时，复合索引往往能带来更好的性能表现。此外，在使用 Faiss 时，还可以进一步调整索引参数、进行性能测试和添加更多评估指标，以优化搜索效果。如果你在实际项目中也在使用 Faiss，欢迎在评论区分享你的经验和遇到的问题，让我们共同学习进步！
Faiss之PQ详解
半城月的专栏
02-16 4389
Faiss中常常利用PQ来节省空间和加速搜索，本文从PQ的基本结构，训练以及搜索等方面，结合源码剖析了PQ的原理。
乘积量化（PQ）
qq_26391203的博客
12-12 2541
乘积量化是怎样应用在图像检索中的：”’ 经过量化学习后，对于给定的查询样本，通过查表的方式可以计算出查询样本和库中样本的非对称距离 ”’ 乘积量化简述：向量量化的方法中比较典型的代表是乘积量化(PQ, Product Quantization)方法，它将特征空间分解为多个低维子空间的笛卡尔乘积，然后单独地对每一个子空间进行量化。在训练阶段，每一个子空间经过聚类后得到kk个类心(即量化器)，所有这些
乘积量化pq：将高维向量压缩 97%
uncle_ll的博客
07-14 1982
向量快速搜索算法 pq量化
ANN之乘积量化PQ
seeker的博客
04-07 6128
一、何为乘积量化 乘积量化（Product Quantization）简称 PQ。是和VLAD算法由法国INRIA实验室一同提出来的，为的是加快图像的检索速度，所以它是一种检索算法。现有的检索算法存在一些弊端，如 kd树不适合维度高的数据，哈希（LSH）适用中小数据集，而乘积量化这类方法，内存占用更小、数据动态增删更方便。 二、算法流程 PQ系列的算法流程分三个阶段：训练、量化、查询 2.1 训练 分段：假设样本向量维度D=64，PQ算法会先将原始的D维向量分成M段，假设M=8，那么一个原始向量就被分成8
工业级向量检索核心技术：IVF-PQ原理与全流程解析
进一步有进一步的欢喜~
04-19 774
在大规模高维向量检索场景中，IVF-PQ（倒排索引结合乘积量化）凭借“粗筛范围+细算距离”的双重加速策略，成为核心解决方案。本文将深入解析其原理与全流程，助力开发者掌握这一关键技术。
一文讲透向量数据库 2.0：从索引原理到 RAG 大模型全链路架构
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-07 1176
以前，我们谈的是“用 Faiss 跑检索”。✅多模态向量统一检索（图像、语音、结构化表格都能嵌入）✅多模型共享知识库（Qwen + DeepSeek + GLM 同源调用）✅流式嵌入 + 自动同步文档（文档一变，系统自动更新）✅检索 × Agent 联动（向量检索结果可以驱动动作链）✅与 CI/CD / 反馈系统打通（trace_id × 评分 × 自动再训练）这一篇文章，我们围绕“什么是向量数据库 2.0”为什么大模型时代需要向量数据库向量数据库的原理、结构与算法差异。
Faiss PQ 乘积量化
进一步有进一步的欢喜~
06-08 1520
在ANN近似最近邻搜索中，向量量化方法又以乘积量化(PQ, Product Quantization)最为典型。结合例子对PQ乘积量化、倒排乘积量化(IVFPQ)做一种更加直观的解释。
Github 15K！ 亿级向量相似度检索库Faiss 原理+应用
Kaiyuan_sjtu的博客
11-25 8842
作者|Chilia整理|NewBeeNLP最近在使用ColBERT双塔结构进行文本召回，其中必然要涉及到向量相似度查询，如果只用brute-force方法的复杂度实在太高，...
乘积量化（Product Quantization）
阿哥的专栏
12-09 971
乘积量化 1。简介 　　乘积量化（PQ）算法是和VLAD算法是由法国INRIA实验室一同提出来的，为的是加快图像的检索速度，所以它是一种检索算法，在矢量量化（Vector Quantization，VQ）的基础上发展而来，虽然PQ不算是新算法，但是这种思想还是挺有用处的，本文没有添加公式。 　　它原文中是接在VLAD算法后面，假设我们使用VLAD算法获得了1M的图像表达向量，向量的维度为D=128，则对于一幅查询图像来说，我们需要计算1M个余弦距离，这样实时性就比较差。所以如何加快这种距离的计算速度就
向量数据库：faiss的IndexPQ中PQ的图解+实现质心表的融合
ResumeProject的博客
01-06 1286
中包含pq对象中包含。其尺寸布局为 M * ksub * dsub：（M、ksub、dsub）（8，256，8）2n质心表中的具体数值。
向量数据库FAISS之三：FAISS 索引
weixin_46034279的博客
11-19 2592
平面索引只是将向量编码为固定大小的代码，并将它们存储在 字节的数组中。在搜索时，所有索引向量都被顺序解码并与查询向量进行比较。对于 ，比较是在压缩域中完成的，速度更快支持操作平面索引类似于 C++ 向量。它们不存储向量 ID，因为在许多情况下顺序编号就足够了。所以：向量编码可用的编码是（压缩率由小到大）：一种典型的加速方法是采用 k-means 等分区技术，但代价是失去找到最近邻居的保证。相应的算法有时也被称为单元探测法。我们使用基于多重探测的基于分区的方法。这样做时，仅将数据库的一小部分与查询进行比较：
乘积量化（Product Quantization）算法原理
u013250861的博客
11-01 1296
乘积量化（PQ）算法是和VLAD算法是由法国INRIA实验室一同提出来的，为的是加快图像的检索速度，所以它是一种检索算法，在矢量量化（Vector Quantization，VQ）的基础上发展而来，虽然PQ不算是新算法，但是这种思想还是挺有用处的。它原文中是接在VLAD算法后面，假设我们使用VLAD算法获得了1M（1024K）的图像表达向量，向量的维度为D=128，则对于一幅查询图像来说，我们需要计算1M（1024K）个余弦距离，这样实时性就比较差。
sqlserver 索引页一文读懂
03-22
以下是关于如何构建及维护索引的一些关键技术要点： ##### （1）B+ Tree 结构特点 为了进一步增强读取效率，SQL Server 使用的是改进版的 B+ tree 数据结构，在传统基础上做了如下调整： - 所有关键字均出现在叶子...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

进一步有进一步的欢喜

您的鼓励将是我创作的最大动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值