最近邻搜索之乘积量化（Product Quantizer）理解（一）

最新推荐文章于 2025-01-31 21:26:41 发布
最新推荐文章于 2025-01-31 21:26:41 发布
阅读量1.5w 收藏 22
点赞数 10
分类专栏： 索引技术 近似最近邻检索技术 文章标签： 搜索 索引 最近邻算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/CHIERYU/article/details/50321473
版权

简介

Product Quantizer是由Herv´e J´egou等人2011年在IEEEE上发表的论文《Product Quantization for Nearest Neighbor Search》中提出来的。它的提出是为了在内存和效率之间求得一个平衡，既保证图像索引结构需要的内存足够，又使得检索质量和速度比较好。对于任何基于固定维数特征的事物，它可以应用到其索引结构的建立及检索上。它属于ANN(approximate nearest neighbor)算法。与它相关的算法有E2LSH（Euclidean Locality-Sensitive Hashing）， KD-trees，K-means。

主要思想

Product Quantizer翻译过来是乘积量化，从字面理解大概包括了两个过程特征的分组量化过程和类别的笛卡尔积过程。假设有一个数据集，那么K-means的做法就是给定类别数目K，目标函数是所有样本到类中心的距离和最小，迭代计算优化目标函数，得到K个类中心和每个样本所属的类别。目标函数不变，乘积量化的做法是：
（1）数据集为K个类别，每个样本以一个vector的形式表示，维数为d，将vector的各个分量分成m组。
（2）将所有vector的某组分量作为数据集，采用k-means算法得到这里写图片描述个类中心，运行m次k-means算法，则每组都有这里写图片描述个类中心，记这这里写图片描述个类中心为一个集合。
（3）将上述得到的m个集合做笛卡尔积，就得到整个数据集的类中心了。

下图辅助理解。
这里写图片描述
其实只要联系欧式空间中点的笛卡尔积就很好理解了。

举个栗子

这里写图片描述

注：例子中示意图引用自Jae-Pil Heo的论文《Distance Encoded Product Quantization》
（转载请注明作者和出处：http://blog.youkuaiyun.com/CHIERYU 未经允许请勿用于商业用途）

深度学习-84-RAG技术之Facebook AI Similarity Search工具Faiss基础应用示例
qq_20466211的博客
01-15 640
Faiss全称Facebook AI Similarity Search，是FaceBook的AI团队针对大规模向量进行TopK相似向量检索的一个工具，使用C++编写，有python接口，对10亿量级的索引可以做到毫秒级检索的性能。
product quantization
学习笔记
09-19 522
参考 理解 product quantization 算法 实例理解product quantization算法 Product Quantizers for k-NN Tutorial Part 1 安装 VS Code ubuntu安装vscode的两种方法 Ubuntu下安装opencv3.3 ubuntu16.04安装opencv3.4.1教程 ...
Product quantization for nearest neighbor search
mqfcu8的专栏
04-13 4777
文章为近似最近邻搜索提供了一种新方法：将高维数据量化划分为一些独立的低维子空间的Cartesian乘积，称之为PQ法。文章先形式化地描述了最近邻问题，并解释了对一个高维向量进行PQ，在内存使用量和Assignment复杂度上都比k-means优秀。然而在query时不能忍受遍历所有dataset的方式，提出coarse k-means划分成子集，再进行PQ法。
一文读懂 Faiss 乘积量化（PQ）索引技术
进一步有进一步的欢喜~
01-31 765
PQ索引通过牺牲少量精度换取显著的内存和计算效率提升，是处理十亿级向量检索的核心技术。实际应用中需根据数据特征精细调节参数，结合业务场景选择合适的变种索引
faiss原理（Product Quantization）
WitsMakeMen的专栏
06-07 216
转子：https://zhuanlan.zhihu.com/p/534004381。[1] 实例理解product quantization算法。[6] 理解 product quantization 算法。[2] 【关于 Faiss 】 那些的你不知道的事-技术圈。
PQ(product quantization) 算法---(一)
热门推荐
hairuiJY
07-08 3万+
转自：http://vividfree.github.io/   1. 引言Product quantization，国内有人直译为乘积量化，这里的乘积是指笛卡尔积（Cartesian product），意思是指把原来的向量空间分解为若干个低维向量空间的笛卡尔积，并对分解得到的低维向量空间分别做量化（quantization）。这样每个向量就能由多个低维空间的量化code组合表示。为简洁描述起见，...
最近邻搜索值乘积量化（Product Quantization）
Suan2014的博客
10-18 1690
转自：http://blog.youkuaiyun.com/CHIERYU/article/details/50321473    和   http://blog.youkuaiyun.com/CHIERYU/article/details/50347735 简介 Product Quantizer是由Herv´e J´egou等人2011年在IEEEE上发表的论文《Product Qua
Product Quantization算法
浙大软院研究生，数据库方向
07-21 648
PQ乘积量化是一种用于向量压缩的技术，其目标是将高维向量压缩为低维以支持近似近邻搜索（ANNS）。
最近邻搜索之乘积量化（product quantization）
11-29
图像检索的最经典论文，乘积量化算法。最早于2011年发表于IEEE
乘积量化（ Product Quantization ）近似最近邻搜索 分享
Douya的生活
12-16 7122
看了CHIERYU的理解，受益匪浅。 Product Quantizer翻译过来是乘积量化，从字面理解大概包括了两个过程特征的分组量化过程和类别的笛卡尔积过程。假设有一个数据集，那么K-means的做法就是给定类别数目K，目标函数是所有样本到类中心的距离和最小，迭代计算优化目标函数，得到K个类中心和每个样本所属的类别。目标函数不变，乘积量化的做法是：  （1）数据集为K个类别，每个
论文笔记(1)：Face Search at Scale: 80 Million Gallery
ljwherry的博客
10-23 1194
一、问题描述 随着社交媒体例如Facebook，Google上越来越多的图像由用户上传，图像数据库的规模日益增大。在这样大规模的图库当中进行检索、识别、比对等任务是非常具有挑战性的。计算复杂度，存储空间，时间成本等都与图库的规模有关。如果把现已提出的有效方法应用在现实生活中的大规模图库当中去应用，其性能会大幅下降。 二、介绍 本文为解决大规模人脸图像检索，提出了一种有效的级联搜索系统，结合了快速搜...
Faiss原理和使用
a_blade_of_grass的博客
07-12 1644
给定一组维度为ddd的向量x1xnx1​...xn​，Faiss会在RAM中构建一个数据结构。构建结构之后，当给定一个维度为ddd的新向量xxxiargmini∣∣x−xi∣∣iargmini​∣∣x−xi​∣∣其中，∣∣⋅∣∣||\cdot||∣∣⋅∣∣是欧几里得距离(L2)。在Faiss术语中，数据结构是一个索引，一个具有add方法以添加x_i向量的对象。注意，x_i的维度被假定为固定的。
product quantization ADC算法在Windows下的实现
08-15
这是product quantization算法中基于ADC距离计算在Windows下的matlab实现源码
product quantization SDC算法在Windows下的实现
08-15
这是product quantization中对SDC距离计算Windows下matlab实现代码。
乘积量化代码
08-07
乘积量化（PQ）算法为的是加快图像的检索速度，它是一种检索算法，在矢量量化（Vector Quantization，VQ）的基础上发展而来。
Faiss：Ubuntu 20.04安装 与 学习笔记
Lip0041的博客
08-14 1515
文章目录认识faiss入门——IndexFlatL2更新问题解决-1更快的搜索——IndexIVFFlat更低的内存占用——IndexIVFPQ 认识faiss faiss是一个利用相似性搜索的库。 相似性搜索是：给定维数为d的向量x_i的集合，通过faiss创建一个数据结构index。然后在给定维度d的新向量x时，计算出欧式距离argmin_i||x - x_i||，即进行对索引的搜索操作。 使用faiss进行检索的步骤：训练、构建索引库、查询。 入门——IndexFlatL2 faiss
向量数据库常见算法 | 八十三、Product Quantization（PQ）技术
Androiddddd的博客
09-22 759
随着大数据时代的到来，向量数据库在数据科学和机器学习领域中发挥着重要作用。然而，向量数据的高维度特性使得存储和处理这些数据变得复杂和昂贵。为了解决这个问题，Product Quantization（PQ）技术应运而生。本文将介绍Product Quantization的基本原理、优势及其在实际应用中的使用。
Product Quantization for Nearest Neighbor Search论文实验
CHIERYU的专栏
12-25 5229
记得大学三时有个老师跟我们说，检验是否深刻理解一篇论文的做法之一就是给你一篇论文，看你能否将论文中的结果重复实验出来，当时觉得老师的说法好厉害、离我们太远，而且一直没有机会这么干过。幸运的是，最近在一大神的指导下进行了一次关于一篇检索论文的PQ实验结果，终于亲身体验了一回老师之前的话，这得感谢感谢大神了。闲话少说，这次PQ实验主要是深刻理解论文，通过实验体会PQ算法是如何将大搜索空间分解为小的搜索空
向量检索
最新发布
03-08
### 向量检索概述 向量检索是一种基于相似性的数据查询技术，旨在高效地找到最接近给定查询向量的数据项。该过程通常涉及将对象表示为高维空间中的点，并通过计算这些点之间的距离来衡量它们的相似程度[^1]。 ### 距离度量方式 对于两个向量间的相似性评估，常用的距离度量有欧氏距离、余弦相似性和曼哈顿距离等。不同的应用场景可能适合不同类型的距离函数，在实际操作中需依据具体需求选取合适的度量标准。 ### 近似最近邻(ANN)搜索策略 由于精确匹配往往耗时过长，特别是在处理大规模数据集时，因此近似最近邻(Approximate Nearest Neighbor, ANN)成为了一种高效的解决方案。其核心理念是在可接受误差范围内快速定位到与目标最为相近的一组候选者而非单一最优解。 #### KD-Tree 和 Annoy 树结构方法 这类索引构建方案利用多叉树形结构递归分割特征空间，从而加速局部区域内的样本比较效率。例如KD-Trees按照各维度交替切分节点；而Annoy则采用随机超平面划分的方式形成森林状分布以增强鲁棒性。 ```python from annoy import AnnoyIndex f = 40 # 特征长度 t = AnnoyIndex(f, 'angular') # 使用角距作为度量指标 for i in range(n_items): t.add_item(i, vector[i]) t.build(10) # 构建10棵树提高命中率 ``` #### LSH 局部敏感哈希机制 Hashing-based的方法如Locality-Sensitive Hashing (LSH)，则是通过对原始输入施加一系列散列变换使得彼此间存在较强关联的对象更有可能映射至相同的桶内，进而简化后续筛选流程。 ```python import numpy as np class MinHash(object): def __init__(self, num_perm=128): self.num_perm = num_perm ... def hash(self, data_point): hashes = [] for _ in range(self.num_perm): a, b = np.random.randint(...), np.random.randint(...) h_val = ((a * int.from_bytes(data_point.encode(), byteorder='big')) + b) % p hashes.append(h_val) return min(hashes) minhasher = MinHash() hashed_value = minhasher.hash('example') print(hashed_value) ``` #### PQ 乘积量化编码体系 Product Quantization (PQ)属于矢量压缩范畴的技术之一，它先对整个特征域实施聚类分析得到若干子区间（即码本），再分别针对每个部分执行粗粒度描述符编码最终组合成完整的紧凑表征形式以便存储传输并支持高速查重运算。 ```python import faiss d = 64 # 维数 nb = 1000 # 数据总量 nlist = 10 # 粗略分区数量 m = 8 # 子区段数目 k = 4 # 每个子区内保留的最佳匹配计数 quantizer = faiss.IndexFlatL2(d) # 定义底层索引器 index_ivfpq = faiss.IndexIVFPQ(quantizer, d, nlist, m, k) xt = ... # 训练样本集合 xb = ... # 待编目条目列表 index_ivfpq.train(xt) index_ivfpq.add(xb) ``` #### HNSW 高效导航小世界模型 Hierarchical Navigable Small World graphs(HNSW)借鉴社交网络理论设计出一种层次化的连通图架构用于优化路径规划问题。此算法不仅能够维持较低的时间复杂度而且具备良好的扩展性能适用于动态更新场景下的增量式维护作业。 ```python hnswlib_index_params = {'M': 16, 'post': 0, 'efConstruction': 100} search_params = {'ef': 50} # 查询阶段参数配置 dim = 128 # 输入特征尺寸 num_elements = 1000 # 总记录规模 p = hnswlib.Index(space='l2', dim=dim) p.init_index(max_elements=num_elements, **hnswlib_index_params) data_labels = list(range(num_elements)) p.add_items(database_vectors, data_labels) nearest_neighbors_ids, distances_to_them = p.knn_query(query_vector, k=5) ``` ### 开源工具库推荐 在众多可用资源当中，Facebook开发维护的Faiss堪称业界标杆级产品，提供了丰富的API接口覆盖多种编程语言环境并且内置大量预训练好的模型便于开发者直接调用开展实验研究工作[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值