乘积量化（Product Quantization/PQ）笔记

最新推荐文章于 2025-06-17 11:22:42 发布
最新推荐文章于 2025-06-17 11:22:42 发布
阅读量3.8k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 网络量化 网络压缩
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/liujianlin01/article/details/80904970
本文介绍了乘积量化（PQ）技术，一种高效的数据压缩和近似最近邻搜索方法。通过将高维向量分解成多个低维子向量并分别进行量化，可以显著减少存储需求而不大幅牺牲搜索精度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文链接：https://hal.inria.fr/file/index/docid/825085/filename/jegou_pq_postprint.pdf

Product quantization（PQ），国内直译为乘积量化，这里的乘积是指笛卡尔积，意思是指把原来的向量空间分解为若干个低维向量空间的笛卡尔积，并利用Kmeans算法对分解得到的低维向量空间分别做量化。这样每个向量就能由多个低维空间的量化code组合表示。

换句话描述就是，把原始D维向量分成m组，那么每组就是D/m维的子向量，各自用kmeans算法学习到一个码本，然后这些码本的笛卡尔积就是原始D维向量对应的码本。
用qj表示第j组子向量，用Cj表示其对应学习到的码本，那么原始D维向量对应的码本就是C=C1×C2×…×Cm。
用k∗表示子向量的聚类中心点数或者说码本大小，那么原始D维向量对应的聚类中心点数或者说码本大小就是k=(k∗)m。

乘积量化（Product Quantization）算法原理
u013250861的博客
11-01 1303
乘积量化（PQ）算法是和VLAD算法是由法国INRIA实验室一同提出来的，为的是加快图像的检索速度，所以它是一种检索算法，在矢量量化（Vector Quantization，VQ）的基础上发展而来，虽然PQ不算是新算法，但是这种思想还是挺有用处的。它原文中是接在VLAD算法后面，假设我们使用VLAD算法获得了1M（1024K）的图像表达向量，向量的维度为D=128，则对于一幅查询图像来说，我们需要计算1M（1024K）个余弦距离，这样实时性就比较差。
论文笔记(1)：Face Search at Scale: 80 Million Gallery
ljwherry的博客
10-23 1250
一、问题描述 随着社交媒体例如Facebook，Google上越来越多的图像由用户上传，图像数据库的规模日益增大。在这样大规模的图库当中进行检索、识别、比对等任务是非常具有挑战性的。计算复杂度，存储空间，时间成本等都与图库的规模有关。如果把现已提出的有效方法应用在现实生活中的大规模图库当中去应用，其性能会大幅下降。 二、介绍 本文为解决大规模人脸图像检索，提出了一种有效的级联搜索系统，结合了快速搜...
乘积量化
smartcat2010的博客
03-20 793
《Product Quantization for Nearest Neighbor Search》(2011, IEEE) 近似近邻计算（approximate nearest neighbor）(ANN): 给一个测试样本，有一定误差的找到库里最近邻的样本们； 例：128维float向量，分成8组，每组128/8=16维，每组聚类(KMeans)成256类(用8bit可编码），每组有一个...
Product Quantization (PQ)
最新发布
Nick_LYJ的博客
06-17 571
🎯 核心思想把复杂的高维向量"压缩"成简单的编码，就像把一本厚书变成目录索引一样。📖 基本原理📚 生活化类比原始方法（高维向量）描述一个人的外貌特征：身高：175.3cm体重：68.7kg眼睛颜色：深棕色(RGB: 101,67,33)头发长度：15.2cm肤色：(RGB: 255,219,172)… 总共100个精确特征PQ方法步骤1：分组把100个特征分成4组，每组25个特征：第1组：身材相关（身高、体重、肩宽等）
乘积量化（Product Quantization）
阿哥的专栏
12-09 974
乘积量化 1。简介 　　乘积量化（PQ）算法是和VLAD算法是由法国INRIA实验室一同提出来的，为的是加快图像的检索速度，所以它是一种检索算法，在矢量量化（Vector Quantization，VQ）的基础上发展而来，虽然PQ不算是新算法，但是这种思想还是挺有用处的，本文没有添加公式。 　　它原文中是接在VLAD算法后面，假设我们使用VLAD算法获得了1M的图像表达向量，向量的维度为D=128，则对于一幅查询图像来说，我们需要计算1M个余弦距离，这样实时性就比较差。所以如何加快这种距离的计算速度就
乘积量化（PQ）
qq_26391203的博客
12-12 2545
乘积量化是怎样应用在图像检索中的：”’ 经过量化学习后，对于给定的查询样本，通过查表的方式可以计算出查询样本和库中样本的非对称距离 ”’ 乘积量化简述：向量量化的方法中比较典型的代表是乘积量化(PQ, Product Quantization)方法，它将特征空间分解为多个低维子空间的笛卡尔乘积，然后单独地对每一个子空间进行量化。在训练阶段，每一个子空间经过聚类后得到kk个类心(即量化器)，所有这些
PQ(product quantization) 算法
slamer的专栏
11-05 5989
转自：http://vividfree.github.io/    1. 引言 Product quantization，国内有人直译为乘积量化，这里的乘积是指笛卡尔积（Cartesian product），意思是指把原来的向量空间分解为若干个低维向量空间的笛卡尔积，并对分解得到的低维向量空间分别做量化（quantization）。这样每个向量就能由多个低维空间的量化code组合表示。为简洁描...
搜索领域索引构建：技术升级与应用拓展
AI天才研究院
05-07 849
在信息爆炸的时代，搜索引擎作为信息检索的核心入口，其性能直接取决于索引构建的效率与质量。本文聚焦索引构建的技术演进，涵盖从基础倒排索引到分布式索引、向量索引的技术升级路径，分析不同技术方案的适用场景与工程实现细节。通过理论推导、代码实现和实战案例，帮助读者掌握索引构建的核心技术体系及其在复杂业务场景中的应用策略。解析索引构建的核心概念与数据结构推导倒排索引、BM25等经典算法的数学模型演示基于Elasticsearch的分布式索引实战探讨向量索引在深度学习时代的技术创新。
论文阅读《Learning Vector-Quantized Item Representation for Transferable Sequential Recommenders》
qq_43238825的博客
10-19 1221
在最近的大语言模型推荐系统当中，通常采用的是利用预训练语言模型(PLM)将项目文本描述信息(item text)编码为项目表示(item representation)。这种情况下，项目文本描述信息和项目表示之间的绑定可能过于紧密，会导致过度强调文本描述信息的特征的作用、夸大领域间的gap的负面影响等潜在问题。
ElasticSearch学习篇11_ANNS之基于图的NSW、HNSW算法
2301_76379606的博客
04-27 1182
ANNS（Approximate Nearest Neighbor Search）翻译为近似最近搜索。是指在大型数据集中找到给定查询点的最近邻点。ANNS 旨在最小化计算成本并同时高效找到近似最近邻。目的：ANNS旨在高维空间中快速找到与查询点近似最近的邻居，牺牲一定的精确度以换取搜索速度的提升。原理：通过构建特定的数据结构（如基于空间划分的KD-Tree、局部敏感哈希LSH等）或使用特定的算法逻辑来减少在高维空间中搜索最近邻所需的计算量。应用场景。
SIFT量化方法-乘积量化
有种轰趴我
12-29 2651
最近做实验要用到SIFT特征，关于SIFT特征的细节这里不再详述，可以参考：http://blog.youkuaiyun.com/abcjennifer/article/details/7639681/          这里着重讲解一下关于SIFT特征匹配时需要用到的一种量化方法--乘积量化。 由于SIFT特征匹配时主要用到的是描述子信息，而该描述子信息的维度比较高，因此在局部特征匹配时计算较为复杂，
MATLAB 图像乘积量化
12-06
MALTAB程序，带例程图像和相应SIFT描述子，保证可用，具体见README，中科大数字图像分析作业，自己做的，慎重下载
乘积量化 特征匹配
12-24
用于sift特征快速匹配，该代码实现了乘积量化的核心算法
最近邻搜索之乘积量化（product quantization）
11-29
图像检索的最经典论文，乘积量化算法。最早于2011年发表于IEEE
向量检索的算法-乘积量化
keyboard专栏
01-10 742
乘积量化是一种高效的向量量化技术，通过将高维向量分解为多个低维子向量并对其进行量化，从而实现了对大规模数据集的压缩和加速检索。尽管其可能引入一定的误差，但通过合理的设计和优化，乘积量化能够在存储和计算效率之间实现有效的平衡，是高维向量检索中非常重要的一种技术。
matlab sift乘积量化,PQ（乘积量化）应用于ANN算法原理和代码解读
weixin_31613447的博客
03-24 892
背景PQ算法全称ProductQuantization，中文名为乘积量化。该算法来源于图像检索，本质上是对向量做压缩。该算法也可以应用于ANN，本文介绍该算法在ANN的应用以及相关代码实现。算法介绍假如总共有N个数据点，数据的维度是D维。给定一个Query做近邻检索，如果采用暴力检索方式，那么计算复杂度就是N*D(遍历N个点计算距离，每个点计算的复杂度是D)。如果可以对向量进行压缩，比如压缩后的向...
机器学习之PQ量化算法
AI学长
05-25 7197
什么是PQ量化算法 PQ算法属于一种经典的ANN（approximate nearest neighbor，近似最近邻算法）算法，ANN不是寻找最近邻向量，而是退而求其次寻找近似最近邻向量。所以必然会带来一些误差，为了尽量减少误差，很多算法都做了一系列的优化，同样PQ系列也是。 相对全量运算优点: （1）减少存储：实际应用中样本向量巨大，可能是百亿或千亿级别，存储开销很大； （2）减少运算量：逐个遍历时间在O(n)量级，遍历时间耗费很大； （3）减少运算量：完全计算两组数据之间的欧式距离开销很大。 算法实现
ANN之乘积量化PQ
seeker的博客
04-07 6226
一、何为乘积量化 乘积量化（Product Quantization）简称 PQ。是和VLAD算法由法国INRIA实验室一同提出来的，为的是加快图像的检索速度，所以它是一种检索算法。现有的检索算法存在一些弊端，如 kd树不适合维度高的数据，哈希（LSH）适用中小数据集，而乘积量化这类方法，内存占用更小、数据动态增删更方便。 二、算法流程 PQ系列的算法流程分三个阶段：训练、量化、查询 2.1 训练 分段：假设样本向量维度D=64，PQ算法会先将原始的D维向量分成M段，假设M=8，那么一个原始向量就被分成8
乘积量化pq：将高维向量压缩 97%
uncle_ll的博客
07-14 2026
向量快速搜索算法 pq量化
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值