Faiss介绍以及使用详解

最新推荐文章于 2024-09-15 07:42:22 发布

「已注销」

最新推荐文章于 2024-09-15 07:42:22 发布

阅读量3.5k

点赞数 3

本文链接：https://blog.youkuaiyun.com/qq_15245487/article/details/105229735

版权

Faiss是一个由Facebook AI Research开发的用于稠密向量相似度搜索和聚类的高效框架。它提供了多种检索方法，支持CPU和GPU，并且可以通过conda方便安装。在Quick Start中，通过构建索引和查询向量展示了其基本用法。加速搜索可以通过IndexIVFFlat实现，减少内存占用则可以利用Product Quantizer进行压缩。此外，Faiss还支持简化索引的字符串表达方式，便于组合使用不同的索引方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简介

faiss是为稠密向量提供高效相似度搜索和聚类的框架。由Facebook AI Research研发。具有以下特性。

1、提供多种检索方法
2、速度快
3、可存在内存和磁盘中
4、C++实现，提供Python封装调用。
5、大部分算法支持GPU实现

下面给出一些快速链接方便查找更多内容。

github
官方文档
 c++类信息
 Troubleshooting
官方安装文档

安装

文档中给出来编译安装，conda等安装方式。因为公司服务器编译安装需要权限，所有我们一般使用conda的方式安装python Module。

# 更新conda
conda update conda
# 先安装mkl
conda install mkl
# faiss提供gpu和cpu版，根据服务选择
# cpu版本
conda install faiss-cpu -c pytorch
# gpu版本
conda install faiss-gpu cudatoolkit=8.0 -c pytorch # For CUDA8
conda install faiss-gpu cudatoolkit=9.0 -c pytorch # For CUDA9
conda install faiss-gpu cudatoolkit=10.0 -c pytorch # For CUDA10
# 校验是否安装成功
python -c "import faiss"

Quick Start

这里先给出官方提供的demo来感受一下faiss的使用。

首先构建训练数据和测试数据

import numpy as np
d = 64                           # dimension
nb = 100000                      # database size
nq = 10000                       # nb of queries
np.random.se

最低0.47元/天解锁文章