Faiss学习笔记

最新推荐文章于 2025-04-12 22:24:36 发布
最新推荐文章于 2025-04-12 22:24:36 发布
阅读量1.5k 收藏 5
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 推荐系统 文章标签： 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dong_liuqi/article/details/117934704

Faiss

Faiss是Facebook的AI Research开发的Similarity Search工具包.

具体地就是对稠密向量进行快速的相似度检索. 这里很容易就能想到推荐系统中的召回过程. 召回就是将所有的物品向量存储在一个数据库中, 然后使用用户向量去检索其中欧氏距离最近的几个向量作为召回的物品列表.

一. Faiss的使用步骤

  1. 构建embedding矩阵, 具体地类似于加载预训练embedding, 其排序是从0排序到N-1的. 维度就是(N, v_dim)
  2. 选择合适的index, 并将embedding添加到index中
  3. 给定index一个query和数量k, 得到按照相似度排序的列表

二. 具体使用方法

import faiss

embedding_dim = 8
index = faiss.IndexFlatIP(embedding_dim)	# 创建index对象

index.add(item_embedding)	# 给index对象添加embedding

D, I = index.search(user_embedding, 10)	# 给定一个或多个向量进行搜索

1. IndexFlatIP

根据相似度的计算方法和内存准确度的tradeoff来选择合适的index对象

embedding_dim就是要创建的index中存储的embedding的维度大小

2. add

使用add方法给index对象加入被搜索的embedding列表, 一般添加的是numpy.

item_embeddings = item_embedding.weight.cpu().detach().numpy().astype('float32')

注意之所以要astype, 因为faiss使用的数据类型默认的使用float32.

TypeError: in method 'IndexFlat_add', argument 3 of type 'float const *'

如果数据类型没有切换对, 就会报上面的这个错.

3. search

输入待搜索的向量, 这个向量可以是一个, 也可以是多个, 所以其维度为: shape(n, embedding_dim)

⭐️ n就表示了可以一次性的进行批量搜索.

得到结果的维度是: shape(n, k).

具体地, D为搜索到的向量矩阵, 而I为搜索到的索引矩阵.

Reference

参考资料1

参考资料2

机器学习笔记 - Facebook AI Similarity Search（Faiss）简介
学以致用 知行合一
06-30 1367
Facebook AI Similarity Search （Faiss）是高效相似性搜索最受欢迎的轮子之一。给定一组向量，我们可以使用 Faiss 对它们进行索引——然后使用另一个向量（查询向量），我们在索引中搜索最相似的向量。它包含搜索任何大小的向量集的算法，除非超出RAM的大小。它还包含用于评估和参数优化的支持代码。Faiss 是用 C++ 编写的，带有 Python/numpy 的完整包装器。一些最有用的算法是在 GPU 上实现的。它主要由 Meta 的基础 AI 研究小组开发。
特征检索学习笔记
jacke121的专栏
09-09 2023
Faiss cpu: pip pip install faiss pip install faiss-gpu knn实现： import faiss # modified from https://github.com/facebookresearch/deepcluster def get_knn(reference_embeddings, test_embeddings, k, embeddings_come_from_same_source=False)...
Faiss(7)：IVFPQ-train训练过程分析
翔底的博客
09-12 3869
说明 本篇主要分析IVFPQ类型的索引的训练过程。遵循从APP -> 到faiss core的实现的流程。 过程分析 app 假设现在已经有了一个可用的IVFPQ类型索引index实例，那么可以直接在程序中调用： index.train(learning_d) 这里的learning_d表示训练集，这里的值是database总数与学习率的乘积。 faiss core train() IndexIVFPQ类里面没有override train函数，所以上面的接口调用的是其父类IndexIVF下定义的t
Faiss从入门到实战精通
热门推荐
bitcarmanlee的博客
05-30 2万+
1.Faiss是什么 Faiss是Facebook Ai Research开发的一款稠密向量检索工具。引用Faiss Wiki上面的一段简介 Faiss is a library for efficient similarity search and clustering of dense vectors. It contains algorithms that search in sets of vectors of any size, up to ones that possibly do not fi
【推搜】embedding评估 | faiss的top-k向量检索
发现问题，并解决问题，批判性思维
11-27 2051
在推荐系统的召回阶段中，很多时候item变化不会很明显，所以一般会将item embedding存入faiss之类的向量数据库（也可以使用HnswLib等，注意要建立对应的向量索引），然后在线计算更新user embedding（可由用户的历史item序列的item embedding的mean pooling操作生成，也可以用其他方法），最后将user embedding和item embedding进行最近邻的topk查找。即典型的【离线存储】和【线上召回】策略。最初的双塔模型就是这么做的。
langchain 链式写法-使用本地 embedding 模型，Faiss 检索
木下瞳的博客
04-12 8058
使用本地下载的 embedding 模型去做 embedding，然后从中查相似的。
向量检索（一）Faiss 在工业界的应用和常见问题解决
千里之行
11-07 1万+
传统的搜索，使用关键做精确的查找，利用倒排索引在索引库中搜索。日常在用的百度，Google都属于关键词搜索。 在 AI 时代我们需要查找一张相似的图片，一个问题的答案，或者根据一段音乐查找对应的歌曲，这些情况下没有准确的关键词用来做检索。 这些图片，问题（文本），语音，不再是简单的一个一维量化的数字，而是包含了大量的属性特征。 因而不合适使用传统的关键字搜索引擎来查找。 对于文本，图片，语音，视频，DNA信息等等，都可用向量来表示，数据被特征化处理后用来表示这条数据的向量称之为 Embedding
Faiss：Ubuntu 20.04安装 与 学习笔记
Lip0041的博客
08-14 1599
文章目录认识faiss入门——IndexFlatL2更新问题解决-1更快的搜索——IndexIVFFlat更低的内存占用——IndexIVFPQ 认识faiss faiss是一个利用相似性搜索的库。 相似性搜索是：给定维数为d的向量x_i的集合，通过faiss创建一个数据结构index。然后在给定维度d的新向量x时，计算出欧式距离argmin_i||x - x_i||，即进行对索引的搜索操作。 使用faiss进行检索的步骤：训练、构建索引库、查询。 入门——IndexFlatL2 faiss
faiss 简单使用
东方佑
06-19 717
它提供了多种算法来处理大规模的向量搜索问题，支持多种距离度量（例如欧氏距离、内积等），并且可以用于机器学习中的各种任务，如推荐系统、图像识别、语音处理等。如果你想要改变搜索的行为，例如使用不同的距离度量或者使用GPU加速搜索，你需要在创建索引时指定这些选项。需要注意的是，Faiss是一个活跃的研究项目，其API和功能可能会随着新版本的发布而发生变化。请确保你安装了正确的Faiss版本，并且如果你的代码中有任何特殊的需求或者使用了不同的参数，请参考Faiss的官方文档以获取正确的使用方法。
大模型学习笔记五：RAG
谢白羽
03-04 2226
1、LLM 的知识不是实时的2、LLM 可能不知道你私有的领域/业务知识搭建过程：1、文档加载，并按一定条件切割成片段2、将切割的文本片段灌入检索引擎3、封装检索接口4、构建调用流程：Query -> 检索 -> Prompt -> LLM -> 回复1、文档加载2、文档切分3、向量化4、灌入向量数据库。
langchain FAISS 的 余弦相似度比较
weixin_43913406的博客
06-14 4050
langchain FAISS 的 余弦相似度匹配
embedding和Faiss
GP0000968523的专栏
11-28 342
5.搜索引擎的革命者，搜索会更专业，广告的方式可能得重新找模式了。4.看来接下来就是大数据微调了。1.先是向量化，faiss。
LLMs之Embedding：FlagEmbedding(一款用于微调/评估文本嵌入模型的工具)的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-29 8177
​ LLMs之Embedding：FlagEmbedding(一款用于微调/评估文本嵌入模型的工具)的简介、安装和使用方法、案例应用之详细攻略 目录 FlagEmbedding的简介 FlagEmbedding的安装和使用方法 FlagEmbedding的案例应用 FlagEmbedding的简介 FlagEmbedding是一个用于微调文本嵌入模型的工具，旨在通过利用特定任务的数据，提升预训练的文本嵌入模型在该任务上的性能。在这个示例中，我们展示了如何使用您的数据微
langchain + Faiss + embedding构建基于RAG的PDF文件问答系统
sinat_35153174的博客
03-13 772
随着人工智能技术的发展，结合检索增强生成（Retrieval-Augmented Generation, RAG）的问答系统在文档处理领域展现出强大的潜力。本系统基于‌‌与‌‌，专注于实现对PDF文件的高效语义理解与智能问答，适用于企业文档管理、学术研究、法律咨询等场景。
LangChain真的好用吗？谈一下LangChain封装FAISS的一些坑
2401_84494441的博客
06-07 2029
最近在做一个知识库问答项目，就是现在大模型浪潮下比较火的 RAG 应用。LangChain 可以说是 RAG 最受欢迎的工具，因此我首选 LangChain 来快速构建我的应用。坦白来讲 LangChain 本身一套对于组件的定义已经让我感觉很复杂，为什么采用f-string或就能完成的事情必须要抽出一个这么复杂的对象。当然上面种种原因可能是我不理解 LangChain 设计之禅，但是下面这个坑确实实实在在让我对 LangChain 感到失望的地方。
【LangChain实战体验】真的好用吗？探讨LangChain封装FAISS的那些坑！
2401_84494441的博客
01-14 815
最近在做一个知识库问答项目，就是现在大模型浪潮下比较火的 RAG 应用。LangChain 可以说是 RAG 最受欢迎的工具，因此我首选 LangChain 来快速构建我的应用。坦白来讲 LangChain 本身一套对于组件的定义已经让我感觉很复杂，为什么采用f-string或就能完成的事情必须要抽出一个这么复杂的对象。当然上面种种原因可能是我不理解 LangChain 设计之禅，但是下面这个坑确实实实在在让我对 LangChain 感到失望的地方。
faiss 是一个用于高效相似性搜索的库
Leon_Jinhai_Sun的博客
03-22 367
是一个用于高效相似性搜索的库，但确实没有正确导入。并正确使用它，你可以实现高效的向量检索功能。首先，确保你已经安装了。
RAG创建向量数据库：docsearch = FAISS.from_texts(documents, embeddings)
最新发布
ZJQ的博客
04-12 221
FAISS 即 **Facebook AI Similarity Search**，是一个用于高效相似性搜索和密集向量聚类的库。它提供了多种索引结构，可加速向量之间的相似性计算，在处理大规模向量数据时表现出色。
Faiss简单使用
HJ_blog
07-18 2357
在本节中使用的索引类型不需要训练，大家可以使用IndexIVFFlat（倒排索引）试试，倒排索引需要进行索引训练，而且检索效率更高。
Faiss
03-17
<think>好的，我现在需要帮用户解答关于Faiss的安装和使用方法的问题。用户提到了两个引用，分别是安装faiss-cpu的命令和一个安装教程的链接。首先，我应该先确认用户的需求，他们可能想要知道如何安装Faiss以及基本的使用教程。 首先，关于安装部分。用户提供的引用[1]中提到可以通过pip安装faiss-cpu，这是正确的。不过，我需要考虑用户的操作系统，因为Faiss支持Linux、macOS和Windows。但要注意的是，对于GPU加速，用户可能需要安装faiss-gpu，但需要CUDA支持。这时候可能需要提醒用户根据硬件选择版本。 然后，安装验证部分，用户可能需要一个简单的测试代码，确保安装成功。比如导入faiss并创建索引。这部分需要给出示例代码，并且确保代码正确无误，比如使用Python的with语句来管理资源，但可能不需要，所以直接创建索引更简单。 接下来是使用教程部分。用户可能想了解Faiss的基本功能，比如构建索引、添加数据、搜索最近邻。这里需要分步骤说明，每个步骤给出代码示例。例如，生成随机数据，创建索引，添加数据，进行搜索，并解释每个参数的意义，比如nlist和m参数。 另外，用户可能遇到的问题，比如安装失败或者版本不兼容。需要提醒常见问题，比如Python版本是否符合要求，是否需要安装依赖库如numpy。同时，引用提供的安装教程链接[^2]可以作为补充资源，供用户参考。 关于性能优化部分，用户可能想知道如何提高搜索效率，比如使用GPU或者调整参数。这时候需要提到faiss-gpu的安装，以及调整nprobe参数的影响。 最后，生成相关问题需要考虑用户可能的后续疑问，比如Faiss的应用场景、处理大数据集的技巧、与其他库的比较，以及如何评估性能。这些问题可以帮助用户进一步学习和应用Faiss。 需要确保回答结构清晰，步骤明确，代码正确，并且自然地融入引用标记。同时，使用中文，避免任何markdown格式，按照用户的要求来组织内容。可能还需要检查是否有遗漏的信息，比如不同操作系统的安装差异，或者常见错误解决方案，但根据引用内容，可能主要依赖pip安装，所以保持简洁。</think>[系统级响应] ### Faiss安装与基础使用教程 #### 一、安装步骤 1. **CPU版本安装**（推荐初学者） 在终端中执行以下命令： ```bash pip install faiss-cpu ``` 此版本无需GPU支持，适用于大多数基础场景[^1]。 2. **GPU版本安装**（需CUDA环境） ```bash pip install faiss-gpu ``` 需提前安装NVIDIA驱动和CUDA工具包（建议CUDA 10.0+） 3. **验证安装** ```python import faiss index = faiss.IndexFlatL2(64) # 创建64维向量的L2距离索引 print(index.is_trained) # 应输出True ``` #### 二、核心功能演示 ```python import numpy as np # 1. 生成示例数据 dimension = 64 data_size = 10000 np.random.seed(1234) data = np.random.random((data_size, dimension)).astype('float32') # 2. 创建IVF索引 nlist = 100 # 聚类中心数 quantizer = faiss.IndexFlatL2(dimension) index = faiss.IndexIVFFlat(quantizer, dimension, nlist) index.train(data) # 训练索引 index.add(data) # 添加数据 # 3. 最近邻搜索 query = np.random.random((1, dimension)).astype('float32') k = 5 # 返回前5个结果 distances, indices = index.search(query, k) print("最相似的5个向量索引:", indices) ``` #### 三、关键参数解析 $$ \text{召回率} = \frac{\text{正确检索的相似项数量}}{\text{所有应检索的相似项数量}} \times 100\% $$ - `nlist`：控制聚类精细度，值越大搜索精度越高但内存消耗增加 - `nprobe`：决定搜索的聚类中心数量，直接影响查询速度与精度平衡 #### 四、常见问题解决 1. **安装失败排查** - 确认Python版本≥3.7 - 尝试指定版本：`pip install faiss-cpu==1.7.4` - Windows用户建议使用预编译版本 2. **性能优化建议** - 对十亿级数据集可使用`IndexIVFPQ`压缩向量 - 启用多线程：`faiss.omp_set_num_threads(8)` [^1]: 引用自Faiss官方推荐安装方式 : 更多安装细节可参考《Faiss安装笔记》
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值