Faiss(二)基础索引

已于 2022-07-26 19:39:06 修改
阅读量1.3k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： Faiss 文章标签： python
于 2022-07-26 19:37:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_51241339/article/details/125998562
本文介绍了Faiss的基础索引类型，包括Flat暴力检索、IVF倒排、PQ乘积量化、IVF-PQ、LSH局部敏感哈希和HNSW图检索。各种索引的优缺点、适用场景和参数设置进行了详细说明，旨在帮助理解Faiss在高维向量检索中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考链接：

Faiss入门及应用经验记录 - 知乎

Faiss indexes · facebookresearch/faiss Wiki · GitHub

Faiss提供了多种索引，本篇介绍一些基础索引。

基础索引
Method Class name index_factory Main param Exhaustive Comments
精确搜索--L2 IndexFlatL2 "Flat" d--向量维数 是 暴力搜索
精确搜索--内积(IP) IndexFlatIP "Flat" d 是 也可以将向量标准化后使用cosine相似度
Hierarchical Navigable Small World(HNSW)图搜索 IndexHNSWFlat "HNSWx,Flat" d 否 x表示构建图索引时每个节点最多连接多少个节点
倒排索引(IVF) IndexIVFFlat "IVFx,Flat" quantize
最低0.47元/天 解锁文章

200万优质内容无限畅学
一文读懂 Faiss 乘积量化（PQ）索引技术
进一步有进一步的欢喜~
01-31 1018
PQ索引通过牺牲少量精度换取显著的内存和计算效率提升，是处理十亿级向量检索的核心技术。实际应用中需根据数据特征精细调节参数，结合业务场景选择合适的变种索引
机器学习笔记 - Facebook AI Similarity Search（Faiss）简介
学以致用 知行合一
06-30 1369
Facebook AI Similarity Search （Faiss）是高效相似性搜索最受欢迎的轮子之一。给定一组向量，我们可以使用 Faiss 对它们进行索引——然后使用另一个向量（查询向量），我们在索引中搜索最相似的向量。它包含搜索任何大小的向量集的算法，除非超出RAM的大小。它还包含用于评估和参数优化的支持代码。Faiss 是用 C++ 编写的，带有 Python/numpy 的完整包装器。一些最有用的算法是在 GPU 上实现的。它主要由 Meta 的基础 AI 研究小组开发。
faiss IndexLSH源码详解
05-20 949
在Faiss中，IndedLSH只是具有二进制编码的Flat索引。数据库向量和查询向量被哈希为二进制，并使用汉明距离进行比较。主要是把向量转换(例如降维、根据阈值相减等)，转换完之后，按照bit把每个向量的每个维度写入codes中。在查询时，同样把query对应的向量转换为codes，然后计算query和索引codes的hammings距离。 127 /*n:向量个数，x:向量，k:返回条数, distances:距离，labels：向量唯一标识*/ 128 void IndexLSH::s..
FAISS 索引
nbspzs的专栏
08-28 865
FAISS（Facebook AI Similarity Search）是一个由 Facebook 开发的开源库，用于高效的相似性搜索和密集向量的聚类。它非常适合处理大规模的向量搜索任务，例如推荐系统、图像搜索、自然语言处理中的嵌入搜索等。1. 索引文件（Index File）：FAISS 的核心是各种类型的索引，这些索引可以存储在磁盘上并在需要时加载。FAISS 支持多种类型的索引，如 IndexFlatL2、IndexIVFFlat、IndexHNSW 等，具体类型取决于你的应用需求。
Faiss库
2501_91906624的博客
07-14 780
图像 / 视频检索（如以图搜图、视频帧匹配）；自然语言处理（如语义搜索、文本聚类、问答系统）；推荐系统（如用户 / 物品向量匹配、相似商品推荐）；人脸识别 / 生物特征匹配；大规模 embedding 数据的聚类或异常检测。
向量数据库：faiss的常用三种数据索引方式（IndexFlatL2，IndexIVFFlat，IndexIVFPQ）的使用和持久化+索引融合的实现及库函数解读
热门推荐
ResumeProject的博客
01-05 1万+
向量数据库：faiss的常用三种数据索引方式（IndexFlatL2，IndexIVFFlat，IndexIVFPQ）的使用和持久化，索引融合的实现及库函数解读
Faiss索引
weixin_61785507的博客
09-29 3650
1、faiss有两种索引构建模式，一种是全量构建，二是增量的索引构建，也就是在原来的基础上添加向量。第一次构建索引时需要经过Train和Add两个操作，后续添加新embedding就直接执行Add就是增量构建了。2、Faiss提供了三种索引类型精确索引-IndexFlatL2、indexFlatIP、倒排快速索引-IndexIVFFlat、乘积量化索引-IndexIVFPQ， 精确索引是一种暴力无误差模式，检索库数据量不大时，优先追求精度时可以用这个。检索库数据量较大时，推荐使用乘积量化索引。
faiss学习（二）另外两种基础索引，保存索引
qq_24127447的博客
02-21 1万+
在上一篇文章里面的官方demo建立索引方式使用的是最基本的索引，这里在介绍两种基础索引 更多索引类别1--更快的检索IndexIVFFlat 官方介绍： 为了加快搜索速度，可以将数据集分割成几部分。我们在d维空间中定义Voronoi单元格，并且每个数据库矢量都落入其中一个单元格中。在搜索时，只有查询x所在单元中包含的数据库向量y与少数几个相邻查询向量进行比较。(划分搜索空间) 这是通过Inde...
Faiss入门
illcx的博客
04-26 1134
Faiss 全称为 Facebook AI Similarity Search，是 Facebook AI Research 开源的高维向量索引和聚类库。Faiss 采用 C++ 编写，支持多种距离度量方式，并且具有高速度、高可扩展性和高准确度等特点。Faiss 的主要应用包括图像搜索、文本搜索、语音搜索等。本文介绍了 Faiss 的基本概念和使用方法，希望能够帮助读者快速入门 Faiss 并实现高维向量索引和聚类应用。
Faiss向量数据库倒排索引检索方法
最新发布
qq_42890035的博客
08-17 508
摘要： IndexIVFFlat 是 Faiss 中的高效索引，结合聚类分区（IVF）和原始向量存储（Flat）来平衡查询速度与精度。其核心思想是将向量空间划分为 nlist 个聚类中心（Voronoi 单元），通过倒排索引快速定位相关分区（桶），仅计算查询向量与 nprobe 个桶内原始向量的精确距离，显著减少计算量。 关键流程： 训练：用 K-Means 学习聚类中心。 添加向量：分配向量到最近中心，构建倒排索引。 搜索：先定位最近 nprobe 个中心，再精确搜索桶内向量。 参数影响： nlist（分
 Faiss建立索引并保存（C++）
jiehanwang的专栏
03-02 3711
Faiss 建立索引并保存。如果用IndexHNSWFlat，就采用IndexIDMap进行映射。 #include "index_io.h" //#include "IndexIVF.h" //#include "IndexIVFFlat.h" #include "IndexHNSW.h" //#include "IndexIVFPQ.h" #include "MetaIndexes.h"...
faiss入门+使用的索引原理
zlb872551601的博客
12-25 5991
faiss入门+使用的索引原理
向量数据库FAISS之三：FAISS 索引
weixin_46034279的博客
11-19 2636
平面索引只是将向量编码为固定大小的代码，并将它们存储在 字节的数组中。在搜索时，所有索引向量都被顺序解码并与查询向量进行比较。对于 ，比较是在压缩域中完成的，速度更快支持操作平面索引类似于 C++ 向量。它们不存储向量 ID，因为在许多情况下顺序编号就足够了。所以：向量编码可用的编码是（压缩率由小到大）：一种典型的加速方法是采用 k-means 等分区技术，但代价是失去找到最近邻居的保证。相应的算法有时也被称为单元探测法。我们使用基于多重探测的基于分区的方法。这样做时，仅将数据库的一小部分与查询进行比较：
FaissPQ索引简介
zhuanzhuantech的博客
09-22 1302
随着神经网络的发展，embedding的思想被广泛的应用在搜推广、图像、自然语言处理等领域，在实际的工业场景中，我们常常会遇到基于embedding进行文本、图像、视频等物料的相关内容检索问题，这类问题通常要求在几毫秒的时间内完成百万甚至亿级别候选物料上的检索。主要影响效果的参数包括粗糙量化类簇个数、分块数量、分块字节等影响索引训练的参数，查询的类簇数量这种影响查询阶段的参数，除此之外PQ索引类型对查询效果也有很大影响，可以尝试PQ，OPQ，PQ with PCA等不同索引。
向量数据库入坑指南：使用 Faiss 实现一个最简单的向量检索功能 (二)
ZILLIZ
09-27 2508
本篇文章将带你使用 Faiss 实现最简单的向量检索功能
Faiss教程：索引(1)
weixin_33872660的博客
07-16 1399
索引是faiss的关键知识，我们重点介绍下。 索引方法汇总 有些索引名，我就不翻译了，根据英文名去学习更准确。 索引名 类名 index_factory 主要参数 字节数/向量 精准检索 备注 精准的L2搜索 IndexFlatL2 "Flat" d 4*d yes brute-force 精准的内积搜索 IndexFlatIP "Flat" d 4*d yes 归一化向量计算c...
faiss的使用
qq_34595138的博客
06-23 962
1.faiss.IndexFlatL2 IndexFlatL2索引方式 为向量集构建IndexFlatL2索引，它是最简单的索引类型，只执行强力L2距离搜索 index = faiss.IndexFlatL2(d) # build the index import mkl import math^M import time^M import faiss^M import numpy as np^M ^M d = 768 # 向量维数^M ^M data = [[i] * d for i in ra
向量检索（一）Faiss 在工业界的应用和常见问题解决
千里之行
11-07 1万+
传统的搜索，使用关键做精确的查找，利用倒排索引在索引库中搜索。日常在用的百度，Google都属于关键词搜索。 在 AI 时代我们需要查找一张相似的图片，一个问题的答案，或者根据一段音乐查找对应的歌曲，这些情况下没有准确的关键词用来做检索。 这些图片，问题（文本），语音，不再是简单的一个一维量化的数字，而是包含了大量的属性特征。 因而不合适使用传统的关键字搜索引擎来查找。 对于文本，图片，语音，视频，DNA信息等等，都可用向量来表示，数据被特征化处理后用来表示这条数据的向量称之为 Embedding
【Faiss】index进阶操作（八）
mjiansun的专栏
05-23 4832
index进阶操作 下面介绍的方法只支持部分Index类型。 从index中恢复出原始数据 给定id，可以使用reconstruct或者reconstruct_n方法从index中回复出原始向量。 支持IndexFlat, IndexIVFFlat (需要与make_direct_map结合), IndexIVFPQ, IndexPreTransform这几类索引类型。 # 导入faiss import sys import numpy as np sys.path.append('/home/
通过langchain框架创建多个FAISS数据库索引，请用python代码实现
10-31
LangChain框架并不是直接用于创建FAISS数据库索引的，它是基于PyTorch的一个自然语言处理库，主要用于文本向量化和序列建模。但是，你可以使用FAISS（Facebook AI Similarity Search Library）独立地在Python中创建多个索引。 FAISS支持多种索引结构，例如IVF（Inverted File）、HNSW（Hierarchical Navigable Small World）等。下面是一个简单的例子，展示如何使用FAISS在Python中创建并管理多个索引： ```python from faiss import IndexFlatIP, IndexIVFFlat # 创建基础向量索引 index_flat = IndexFlatIP(128) # 假设我们有128维的向量 # 创建IVF索引 index_ivf = IndexIVFFlat(index_flat, num_centroids=100, efConstruction=100) # 分别对每个索引添加数据 data = ... # 这里是你需要索引的数据 index_flat.add(data) index_ivf.add(data) # 每个索引可以单独使用 query_vector = ... # 查询向量 print("Flat index result:", index_flat.search(query_vector, k=5)) # 返回最近的k个点 print("IVF index result:", index_ivf.search(query_vector, k=5)) # 使用IVF索引搜索 # 如果你需要管理多个这样的索引，可以将它们放入列表中 indexes = [index_flat, index_ivf] for idx in indexes: idx.add(data) # 添加数据到所有索引 # 要查询时遍历索引列表 for idx in indexes: print(f"Index {idx}:", idx.search(query_vector, k=5)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值