FAISS

最新推荐文章于 2025-07-14 23:48:26 发布
原创 最新推荐文章于 2025-07-14 23:48:26 发布 · 4.8k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#搜索



借助Faiss，Facebook 在十亿级数据集上创建的最邻近搜索（nearest neighbor search），比此前的最前沿技术快 8.5 倍，并创造出迄今为止学术圈所见最快的、运行于 GPU 的 k-selection 算法。多线程以充分利用多核性能并在多路 GPU 上进行并行搜索


https://github.com/facebookresearch/faiss


https://lear.inrialpes.fr/pubs/2011/JDS11/jegou_searching_with_quantization.pdf




Faiss入门
illcx的博客
04-26 1133
Faiss 全称为 Facebook AI Similarity Search，是 Facebook AI Research 开源的高维向量索引和聚类库。Faiss 采用 C++ 编写，支持多种距离度量方式，并且具有高速度、高可扩展性和高准确度等特点。Faiss 的主要应用包括图像搜索、文本搜索、语音搜索等。本文介绍了 Faiss 的基本概念和使用方法，希望能够帮助读者快速入门 Faiss 并实现高维向量索引和聚类应用。
faiss快速入门
dake1994的博客
11-20 6248
Tutorial 快速入门 数据准备 faiss可以处理固定维度d的向量集合，这样的集合这里用二维数组表示。 一般来说，我们需要两个数组： 1.data。包含被索引的所有向量元素； 2.query。索引向量，我们需要根据索引向量的值返回xb中的最近邻元素。 为了对比不同索引方式的差别，在下面的例子中我们统一使用完全相同的数据，即维数d为512，data包含2000个向量，每个向量符合正态分布。...
langchain从入门到精通（十八）——向量数据库安装以及介绍自定义数据库
swpucwf的博客
06-24 901
Faiss 是 Facebook 团队开源的向量检索工具，针对高维空间的海量数据，提供高效可靠的相似性检索方式，被广泛用于推荐系统、图片和视频搜索等业务。Faiss 支持 Linux、macOS 和 Windows 操作系统，在百万级向量的相似性检索表现中，Faiss 能实现 < 10ms 的响应（需牺牲搜索准确度）。Faiss 官网：https://faiss.ai/，Faiss 仓库：https://github.com/facebookresearch/faiss。
Faiss教程：入门
weixin_34389926的博客
07-16 1200
Faiss处理固定维度d的数据，矩阵每一行表示一个向量，每列表示向量的一项。Faiss采用32-bit浮点型存储。 假设xb为数据集，维度为\(nb\times{d}\)；xq是查询数据，维度为\(nq\times{d}\) import numpy as np d = 64 # dimension nb = 100000 ...
搞定python多线程和多进程
weixin_30411239的博客
02-24 516
1 概念梳理： 1.1 线程 1.1.1 什么是线程 线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。一个线程是一个execution context（执行上下文），即一个cpu执行时所需要的一串指令。 1.1.2 线程的工作方式 假设你正在读一本书，没有读完，你...
Faiss 简介
weixin_39663060的博客
05-30 1213
最近在做知识库问答的时候看到了Faiss，查询了一些资料了解其原理，下面做简单记录，方便以后查阅。(Facebook AI Similarity Search)是Facebook AI团队开源的针对聚类和相似性搜索库，为稠密向量提供高效相似度搜索和聚类，支持十亿级别向量的搜索，是目前较成熟的近似近邻搜索库。Faiss整体流程图如下所示：图中，Faiss主要包含两个步骤：Faiss训练和Faiss查询。
Faiss 基础教程
No trade is free, but my contents are.
02-27 1576
创建索引：使用不同的索引类型（等）来创建 Faiss 索引。插入数据：使用.add()方法将向量插入到索引中。执行搜索：使用.search()方法进行最近邻搜索。GPU 加速：如果需要更高的性能，可以使用 Faiss 的 GPU 版本来加速搜索。如果你需要更多关于特定索引类型或高级功能的帮助，随时告诉我！
使用 FAISS 和 SQLite 的本地 RAG 系统
09-07
使用FAISS和SQLite的本地RAG系统是一种结合了两种技术的系统，旨在优化本地检索增强生成（RAG）的过程。FAISS是由Facebook AI Research开发的一个库，它专门用于高效相似性搜索和密集向量聚类，尤其适用于深度学习...
faiss_cpu_docker:带有Dockerfile的Facebook Faiss CPU示例已为Deepnote准备就绪并经过测试
04-22
Faiss在Deepnote中使用Docker映像进行CPU基准测试 描述： 你好！ 在这里，您有一个泊坞窗映像，可在带有Faiss CPU的Deepnote中使用。 它可以构建图像并将其导入到笔记本中，而无需费劲。 有一个已解决的问题导致...
人工智能-项目实践-数据增强-利用faiss索引、chinese simbert向量化的最近邻的中文label数据增强.zip
12-28
人工智能-项目实践-数据增强-利用faiss索引、chinese simbert向量化的最近邻的中文label数据增强 依赖 python 3.7 bert4keras 0.11.3 faiss-gpu 1.7.2 yaml 6.0 conda install mkl-service # mkl只能这样索引 原理 ...
人工智能-项目实践-文本向量-基于milvus和faiss实现文本转向量并存储的流程及简单性能测试.zip
12-23
人工智能-项目实践-文本向量-基于milvus和faiss实现文本转向量并存储的流程及简单性能测试 主要实现faiss和milvus的简单性能测试 测试数据：使用了刘焕勇老师的 ChineseTextualInference项目数据，其中包含了88万条...
Insightface结合Faiss的高并发人脸识别技术研究.pdf
09-23
Insightface结合Faiss的高并发人脸识别技术研究 人脸识别技术是基于图像处理、模式识别等技术，利用人的脸部信息特征，来进行身份验证与鉴别的生物识别技术。人脸识别技术已在交通出行、手机解锁、资质认证等领域...
Faiss库
2501_91906624的博客
07-14 773
图像 / 视频检索（如以图搜图、视频帧匹配）；自然语言处理（如语义搜索、文本聚类、问答系统）；推荐系统（如用户 / 物品向量匹配、相似商品推荐）；人脸识别 / 生物特征匹配；大规模 embedding 数据的聚类或异常检测。
FAISS 索引
nbspzs的专栏
08-28 859
FAISS（Facebook AI Similarity Search）是一个由 Facebook 开发的开源库，用于高效的相似性搜索和密集向量的聚类。它非常适合处理大规模的向量搜索任务，例如推荐系统、图像搜索、自然语言处理中的嵌入搜索等。1. 索引文件（Index File）：FAISS 的核心是各种类型的索引，这些索引可以存储在磁盘上并在需要时加载。FAISS 支持多种类型的索引，如 IndexFlatL2、IndexIVFFlat、IndexHNSW 等，具体类型取决于你的应用需求。
Faiss相关
zztSky
10-27 2128
1 .安装 更新conda conda update conda 先安装mkl conda install mkl faiss提供gpu和cpu版，根据服务选择 cpu版本 conda install faiss-cpu -c pytorch gpu版本 – 记得根据自己安装的cuda版本安装对应的faiss版本，不然会出异常。使用命令：nvcc -V 查看 conda install faiss-gpu cudatoolkit=8.0 -c pytorch # For CUDA8 conda insta
faiss教程【facebook官方文档】
ninnyyan的博客
08-07 9729
官方教程 开始 对于以下内容，我们假设已安装Faiss。 我们在C ++和Python中提供代码示例。 可以通过复制/粘贴代码或从Faiss发行版的tutorial /子目录运行代码来运行代码。 生成一些数据 Faiss处理固定维度d的向量集合，通常为几十到几百。 这些集合可以存储在矩阵中。 我们假设行主存储，例如，矢量编号i的第j个分量存储在矩阵的第i行，第j列中。 Faiss仅使用32位浮点矩...
Faiss索引
weixin_61785507的博客
09-29 3620
1、faiss有两种索引构建模式，一种是全量构建，二是增量的索引构建，也就是在原来的基础上添加向量。第一次构建索引时需要经过Train和Add两个操作，后续添加新embedding就直接执行Add就是增量构建了。2、Faiss提供了三种索引类型精确索引-IndexFlatL2、indexFlatIP、倒排快速索引-IndexIVFFlat、乘积量化索引-IndexIVFPQ， 精确索引是一种暴力无误差模式，检索库数据量不大时，优先追求精度时可以用这个。检索库数据量较大时，推荐使用乘积量化索引。
向量数据库Faiss（Facebook AI Similarity Search）
shiming8879的博客
08-22 1631
向量数据库Faiss（Facebook AI Similarity Search）是Facebook AI Research开发的一款高效且可扩展的相似性搜索和聚类库，专门用于处理大规模向量数据的搜索和检索任务。Faiss以其出色的性能和灵活性，在图像检索、文本搜索、推荐系统等多个领域得到了广泛应用。以下将详细介绍Faiss的搭建与使用过程，包括安装、基本使用、索引类型选择、性能优化及应用场景等方面。
一些faiss中文文档
dake1994的博客
10-26 4451
faiss是facebook开源的一款相似性检索工具，相关教程较少，以下内容来源于github wiki。 链接：faiss_note
faiss
最新发布
08-04
Faiss库是一个用于高效相似性搜索的开源库，由Facebook AI Research开发。它支持多种索引类型，包括Flat、IVF（倒排文件）、PQ（乘积量化）等，适用于大规模向量数据集的快速检索[^2]。 ### 安装指南 Faiss可以通过多种方式进行安装，包括通过pip安装预编译的版本或者从源代码编译安装。对于只需要CPU支持的用户，可以使用以下命令安装： ```bash pip install faiss-cpu ``` 而对于需要GPU加速功能的用户，则需要安装对应的GPU版本： ```bash pip install faiss-gpu ``` 请注意，安装GPU版本之前需要确保系统已经正确配置了CUDA环境[^5]。 ### 使用示例 下面是一个简单的Faiss使用示例，展示了如何创建一个索引，并执行最近邻搜索： ```python import numpy as np import faiss # 创建一些随机向量 dimension = 64 # 向量维度 num_vectors = 10000 # 向量数量 np.random.seed(1234) # 设置随机种子以便复现结果 vectors = np.random.random((num_vectors, dimension)).astype('float32') # 构建索引 index = faiss.IndexFlatL2(dimension) # 使用L2距离构建索引 index.add(vectors) # 添加向量到索引中 # 执行搜索 num_queries = 10 # 查询数量 queries = np.random.random((num_queries, dimension)).astype('float32') k = 4 # 寻找最近的k个邻居 distances, indices = index.search(queries, k) # 执行搜索 # 输出结果 print("Indices of the nearest neighbors:\n", indices) print("Distances to the nearest neighbors:\n", distances) ``` 这段代码首先生成了一些随机向量作为数据集，接着创建了一个使用L2距离度量的简单索引，并将这些向量添加到索引中。最后，它执行了对最近邻的搜索，并打印出了每个查询向量最近的四个向量及其距离[^4]。 ### 特性 - **支持多种相似性搜索算法**：如Flat、IVF、PQ等。 - **提供CPU和GPU加速选项**：允许用户根据硬件条件选择合适的版本。 - **支持大规模向量搜索**：设计用于处理非常大的向量集合。 ### 进一步学习资源 - **FAISS官方文档**：提供了详细的使用说明、安装指南和示例代码。 - **LangChain文档**：如果打算在LangChain框架中集成FAISS的话。 - **异步编程与asyncio**：对于希望利用Python异步特性的开发者来说，这是一个有用的资源。 以上信息基于最新的文档和示例，如果您打算深入学习或遇到特定问题，请参考最新的官方文档以获取最准确的信息。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mao_feng

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值