量化压缩后的index：faiss新版使用方法

最新推荐文章于 2025-04-04 21:51:36 发布
最新推荐文章于 2025-04-04 21:51:36 发布
阅读量277 收藏 1
点赞数 4
CC 4.0 BY-SA版权
分类专栏： Notebook 文章标签： faiss 量化 压缩 向量检索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/SPESEG/article/details/143518464

FAISS 提供了几种不同的标量量化类型，每种类型在量化方式和压缩效果上有所不同。以下是这些量化类型的详细解释和区别：

愿我们终有重逢之时，而你还记得我们曾经讨论的话题。

 group 868373192

 second group 277356808

1. faiss.ScalarQuantizer.QT_8bit

  • 描述: 每个维度使用 8 比特进行量化。

  • 量化方式: 将每个维度的浮点数值量化为 8 比特（即 256 个离散值）。

  • 压缩效果: 每个维度从 32 比特（float32）压缩到 8 比特，压缩比为 4:1。

2. faiss.ScalarQuantizer.QT_4bit

  • 描述: 每个维度使用 4 比特进行量化。

  • 量化方式: 将每个维度的浮点数值量化为 4 比特（即 16 个离散值）。

  • 压缩效果: 每个维度从 32 比特（float32）压缩到 4 比特，压缩比为 8:1。

3.&nb

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一文读懂 Faiss 乘积量化（PQ）索引技术
进一步有进一步的欢喜~
01-31 997
PQ索引通过牺牲少量精度换取显著的内存和计算效率提升，是处理十亿级向量检索的核心技术。实际应用中需根据数据特征精细调节参数，结合业务场景选择合适的变种索引
自然语言处理NLP星空智能对话机器人系列： Faiss Tutorial
大模型与Agent智能体
10-31 651
自然语言处理NLP星空智能对话机器人系列： Installing Faiss Faiss是一个用于高效相似性搜索和密集向量聚类的库。Faiss包含的算法可以搜索任意大小的向量集，甚至可能不适用于RAM的向量集。Faiss还包含用于评估和参数调整的支持代码。Faiss用C++编写，带有Python／NuMPy的完整封装。一些最有用的算法是在GPU上实现的。Faiss是由Facebook人工智能研究所开发的。 Faiss包含几种相似性搜索方法。它假设实例表示为向量并由整数标识，并且向量可以与L2（欧几里德）距
faiss-index进阶操作
dake1994的博客
11-21 8147
index进阶操作 下面介绍的方法只支持部分Index类型。 从index中恢复出原始数据 给定id，可以使用reconstruct或者reconstruct_n方法从index中回复出原始向量。 支持IndexFlat, IndexIVFFlat (需要与make_direct_map结合), IndexIVFPQ, IndexPreTransform这几类索引类型。 In[6]: ...
Faiss(4)：索引(Index)
翔底的博客
08-06 6748
在前面的文章中已经有说明，Faiss库的运行是基于索引的，这个索引与传统数据库中的Index不同，它是包含向量集，训练和查询方法等的类。 1. Index类汇总 Method Class name index_factory Main parameters Bytes/vector Exhaustive Comments Exact Sea.
【推荐系统】Faiss index选择
littlemichelle
12-17 4131
Faiss提供了针对不同场景下应用对Index的封装类，这里我们针对Index基类进行说明。 我所关心的points IndexIVFPQ、IndexIVFFlat 支持Gpu； IndexFlatIP（内积距离） 支持Gpu； CPU支持并发搜索（batch search），GPU不支持、 Fiass - 常见问题总结 - 一小撮人的文章 - 知乎 https://zhuanlan.zhihu.com/p/107241260 index选择 考虑因素：候选向量的数量级、index所占.
Faiss 入门
Al_xin的专栏
07-01 4768
1. Faiss 原理 单元-探测（Cell-probe） 方法 以失去保证以找到最近邻居为代价来加速该过程的典型方法是采用诸如k均值的分区技术。 相应的算法有时被称为 cell-probe 方法： 我们使用基于多探测的基于分区的方法（可以联想到best-bin KD-tree的一种变体）。 特征空间被划分为 ncells 个单元格。 由于散列函数（在k均值的情况下，对最靠近查询的质心的分配）...
【Faiss】基础index可以合成使用（七）
mjiansun的专栏
05-23 820
数据准备 import numpy as np d = 512 #维数 n_data = 2000 np.random.seed(0) data = [] mu = 3 sigma = 0.1 for i in range(n_data): data.append(np.random.normal(mu, sigma, d)) data = np.array(data).astype('float32') #query query = [] n_query = 10
向量数据库三国杀：Faiss、Milvus、Weaviate 深度解析与选型指南
最新发布
海棠AI实验室
04-04 1324
今天，我们就来深入探讨这三位向量数据领域的“明星选手”：老牌劲旅 **Faiss**、云原生中坚 **Milvus** 以及融合知识图谱理念的 **Weaviate**。我将结合它们的设计哲学、核心能力、实战代码和应用场景，为你揭开它们的神秘面纱，助你在AI应用开发中做出明智的技术选型。
【LangChain高级应用】：FAISS在图像搜索中的高效实现
![【LangChain高级应用】：FAISS在图像搜索中的高效实现]...FAISS（Facebook AI Similarity Search）是一个由Facebook AI Research开发的开源库，专门用于高效的相似性搜索和密集向量聚类。在
向量数据库：faiss的常用三种数据索引方式（IndexFlatL2，IndexIVFFlat，IndexIVFPQ）的使用和持久化+索引融合的实现及库函数解读
热门推荐
ResumeProject的博客
01-05 1万+
向量数据库：faiss的常用三种数据索引方式（IndexFlatL2，IndexIVFFlat，IndexIVFPQ）的使用和持久化，索引融合的实现及库函数解读
faiss 三种基础索引方式
xian0710830114的专栏
12-07 8397
faiss 三个最基础的 index. 分别是IndexFlatL2,IndexIVFFlat,IndexIVFPQ 一、IndexFlatL2 - 最基础的Index IndexFlatL2索引的结果是精确的,可以用来作为其他索引测试中准确性程度的参考. 搜索时，可以以查询向量为中心，返回距离在一定范围内的结果，如返回数据库中与查询向量距离小于0.3的结果。支持IndexFlat, IndexIVFFlat，只支持在CPU使用。 import numpy as np imp...
相似度检索Faiss模型
xiaopihaierletian的博客
11-23 2876
Faiss使用指南
faiss-8: 多种index混合
uncle_ll的博客
02-09 1261
index可以合成使用 数据准备 import faiss import numpy as np d = 512 # 维数 n_data = 2000 np.random.seed(0) data = [] mu = 3 sigma = 0.1 for i in range(n_data): data.append(np.random.normal(mu, sigma, d)) data = np.array(data).astype('float32') # qu
向量检索（一）Faiss 在工业界的应用和常见问题解决
千里之行
11-07 1万+
传统的搜索，使用关键做精确的查找，利用倒排索引在索引库中搜索。日常在用的百度，Google都属于关键词搜索。 在 AI 时代我们需要查找一张相似的图片，一个问题的答案，或者根据一段音乐查找对应的歌曲，这些情况下没有准确的关键词用来做检索。 这些图片，问题（文本），语音，不再是简单的一个一维量化的数字，而是包含了大量的属性特征。 因而不合适使用传统的关键字搜索引擎来查找。 对于文本，图片，语音，视频，DNA信息等等，都可用向量来表示，数据被特征化处理后用来表示这条数据的向量称之为 Embedding
Faiss框架学习
u012477435的博客
10-30 2449
Faiss框架 Faiss是Facebook AI团队开源的针对聚类和相似性搜索库，为稠密向量提供高效相似度搜索和聚类，支持十亿级别向量的搜索，是目前最为成熟的近似近邻搜索库。使用C++编写，提供完美与numpy完美衔接的python接口。 一、核心算法实现 聚类使用k-means高效聚类 PCA降维算法 PQ解码编码 二、功能流程 按列存储，压入内存index中存储。 三、index的使用...
faiss多GPU量化压缩极限4bit
NLP与推荐算法
11-06 862
目前faiss多卡压缩的极限，采用ivfPQ只能到8bit，而SQ可以到4bit，因此采用后者。注意，上述数据不能分批加载，这就需要大的瞬时空间（内存），bug如下：这个错误表明在使用时，add方法不支持多次调用。要求在添加数据时，所有数据必须一次性添加，而不是分多次添加。为了解决这个问题，我们需要确保在调用add方法时，一次性添加所有数据。
faiss遇到的坑
ustbbsy的博客
12-27 6779
1、 TypeError: in method ‘IndexFlat_add’, argument 3 of type ‘float const*’ 数组不能是float64，要是float32 查看数据类型 arr.dtype arr.astype(‘float32’) 2、 n, d = x.shape ValueError: not enough values to ...
Faiss：Ubuntu 20.04安装 与 学习笔记
Lip0041的博客
08-14 1601
文章目录认识faiss入门——IndexFlatL2更新问题解决-1更快的搜索——IndexIVFFlat更低的内存占用——IndexIVFPQ 认识faiss faiss是一个利用相似性搜索的库。 相似性搜索是：给定维数为d的向量x_i的集合，通过faiss创建一个数据结构index。然后在给定维度d的新向量x时，计算出欧式距离argmin_i||x - x_i||，即进行对索引的搜索操作。 使用faiss进行检索的步骤：训练、构建索引库、查询。 入门——IndexFlatL2 faiss
faiss使用
qwexdl的博客
08-01 930
水文: 待完善 一、简介   faiss是用来做召回的, facebook出品, 内置HNSW{占用内存巨大}以及一些基于倒排索引和聚类的算法, 基于向量做的召回.   基于向量做召回的还有annoy.   更多参考: https://zhuanlan.zhihu.com/p/37381294 二、推荐博客 https://www.programmersought.com/article/68262337102/ https://zhuanlan.zhihu.com/p/357414033 这个文章
深度解析Facebook Faiss库：快速检索的量化编码技术
在实际使用中，用户可以通过下载“faiss-master”源代码，编译安装后在个人项目中集成和使用Faiss库。 总结来说，Faiss库通过其高效的数据结构、量化编码技术以及优秀的并行化能力，为需要处理大规模向量数据库的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小李飞刀李寻欢

您的欣赏将是我奋斗路上的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值