向量检索（二）Faiss 不同索引的性能

原创 已于 2022-11-08 16:52:16 修改 · 2.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #聚类

于 2022-11-08 16:50:53 首次发布
本文测试了sift1m数据集上IVF+Flat与IVF+HNSW索引的性能，包括召回率、搜索时间和内存占用。结果显示，nprobe值越大，召回率越高，但响应时间也会相应增加。

IVF + Flat 索引的性能

sift1m 数据集合， 指定 nlist 为 16384，对搜索的性能做测试，
机器环境： Mac Pro 2020, Intel, 16G 内存

index = faiss.index_factory(d, "IVF16386,Flat")
index.train(xb)
index.add(xb)

index.nprobe = 256
D, I = index.search
最低0.47元/天 解锁文章
sift-1M数据集的读取及ES插入数据
NLP与推荐算法
08-14 2169
向量数据插入es并进行检索
Faiss原理和使用总结
数字人生
05-07 1655
数据准备：将数据转换为Faiss可以处理的格式，通常是64位浮点数的向量。选择索引：根据数据集的大小和搜索的准确性要求，选择合适的索引类型。构建索引：使用Faiss的Python或C++ API构建索引，并将其训练（或拟合）到数据集上。搜索：使用索引进行搜索，可以是单次查询或批量查询。搜索时可以指定搜索的k值，即返回的最近邻个数。评估：评估搜索结果的准确性和性能，根据需要调整索引参数或搜索算法。扩展性：Faiss支持分布式搜索，可以在多台机器上进行大规模数据集的搜索。GPU加速。
pq
sinat_27545249的博客
04-01 934
PQ算法 参考： https://blog.youkuaiyun.com/u013508213/article/details/72792803 需要四个数据集，分别是： 训练数据集 用来训练数据的中心点 database数据集 用来给这个数据集建立向量索引 查询数据集 用来查询ann的数据集 算法过程 训练数据集为： trainingset 8*16 8行 16维 ...
如何用DeepSeek + Faiss搭建本地知识库？程序员必看的检索系统实战
最新发布
沛哥儿的专栏
10-30 956
在企业数字化转型中，本地知识库正成为刚需——既避免敏感数据上传云端的隐私风险，又能实现快速的个性化检索。但传统关键词检索无法理解语义（比如搜“如何降低生产次品率”，找不到“减少 manufacturing defects”的文档），纯向量检索又可能因语义编码不够精准导致结果偏差。DeepSeek（深度求索）的大模型提供了强大的语义编码能力，Faiss（Facebook AI Similarity Search）则是业界最优的向量检索引擎之一。两者结合，能搭建出高召回、低延迟、懂语义的本地知识库。
Faiss之IVF详解
半城月的专栏
02-15 9359
IVF是Faiss的一大特色，大大的提升了向量检索的速度。好奇的我扒了一下IVF的源码，来悄悄告诉你，IVF到底怎么回事。
人脸识别场景下Faiss大规模向量检测性能测试评估分析
Together_CZ的博客
08-04 1525
人脸识别场景下Faiss大规模向量检测性能测试评估分析
#VDB|RAG|AIGC#(含代码)向量检索工具FAISS的搭建和使用教程、经验分享
weixin_45312236的博客
02-01 2625
本文将依faiss使用全流程来教学gpu版的faiss如何使用。
图片向量检索-基于Faiss+ES+Milvus实现的图像向量检索系统-附项目源码+流程教程-优质项目实战.zip
04-26
由于Milvus具有对Faiss索引良好的支持，它可以实现向量的快速插入和查询。而Elasticsearch则可以作为一个附加组件，提供对外的接口，允许用户通过文本和图像查询来检索图像，实现了图像数据与文本数据的无缝整合。 ...
【向量检索技术】Faiss高效向量相似性搜索库详解：原理、安装配置、实战应用与优化策略了文档的主要内容
07-24
③解决在向量检索过程中遇到的内存不足、检索结果不准确、索引构建时间过长等问题。 阅读建议：本文不仅介绍了Faiss的安装和配置，还深入探讨了其核心概念和使用技巧，建议读者结合实际项目需求，边阅读边实践，尤其...
文本向量化（二）基于Faiss向量数据库语义向量检索
m0_63358814的博客
05-31 929
目标函数的值（在 k-means 情况下为总平方误差）随迭代次数的变化存储在变量中，并且更详细的统计信息存储在.kmeans.objkmeans.iteration_stats 中。通过PCA，我们可以将Embedding后得到的高维数据投影到一个较低维度的子空间中，这个子空间由数据方差最大的方向（即主成分）构成，从而简化数据结构并突出主要特征。k-means聚类能够通过迭代优化最小化簇内的总平方误差，从而找到数据的自然分组。k-means聚类是一种常用的无监督学习算法，用于将数据分为k个簇。
简单测试下faiss 检索速度
陈锐的技术笔记
11-25 1509
在NLP的应用中，经常需要用到对向量的搜索，如果向量的数量级非常大，比如1千万，甚至上亿条，普通的方式就满足不了生产需要了，falcebook开源的faiss框架能够解决“海量向量搜索”的问题。faiss是为稠密向量提供高效相似度搜索和聚类的框架。由研发。具有以下特性。参考了这个项目里做一个对比实验，来看一下faiss的使用及速度。随机生成10万个768维的向量，加载到内存中， 然后分别用普通的暴力搜索和faiss搜索两种方式去搜索，对比搜索的平时用时。按照相同规则生成随机向量，一般句子向量维度是768。
向量数据库：faiss的常用三种数据索引方式（IndexFlatL2，IndexIVFFlat，IndexIVFPQ）的使用和持久化+索引融合的实现及库函数解读
热门推荐
ResumeProject的博客
01-05 1万+
向量数据库：faiss的常用三种数据索引方式（IndexFlatL2，IndexIVFFlat，IndexIVFPQ）的使用和持久化，索引融合的实现及库函数解读
faiss包装与性能对比
xmxoxo的专栏
09-29 3409
|服务器系统/工具| 版本 | 链接 | |--|--|--| |centos|7.4| https://www.centos.org/download/ | |jdk|1.8 | | |scala| 2.12 | https://scala-lang.org/download/2.12.12.html | |flink| 1.10.2 | https://flink.apache.org/downloads.html | |flink Redis Sink|2.8 | | |flink Hbase
Facebook AI实验室开源相似性搜索库Faiss：性能高于理论峰值55%，提速8.5倍
weixin_33699914的博客
08-01 335
在用户日常搜索过程中，一个经常出现的问题即大多数返回的网站结果拥有完全相同或者几乎一样的信息。而应用了相似性搜索的相似引擎即可为用户返回最恰当、最合适的结果，同时隐藏或者丢弃那些重复的数据。 但是，目前相似性搜索领域需要克服的难题即它的规模和运行速度。雷锋网近日了解到，Facebook的人工智能研究团队就称已在该问题上取得了重要进展。Facebook在...
深入解析Faiss：高性能相似性搜索库的基本使用
weixin_42326548的博客
05-15 999
Faiss是一个高效、易用的相似性搜索库，支持多种索引类型和距离度量，适用于机器学习和大数据领域的多种应用场景。通过本文的介绍，希望读者能够了解Faiss的基本使用方法，并能够在实际项目中应用Faiss进行高效相似性搜索。参考文献：官方文档：https://faiss.ai/仓库：https://github.com/facebookresearch/faiss。
faiss向量数据库测试《三体》全集，这家国产AI加速卡，把性能提了7倍！
夕小瑶科技说
08-19 1149
Faiss是由Facebook AI Research团队开发的一个开源库，专门用于高效地进行大规模向量的相似性搜索和聚类。它支持对十亿级别的向量进行搜索，是目前较为成熟的近似近邻搜索库之一。Faiss用C++编写，并提供了与Numpy紧密结合的Python接口，不仅支持CPU计算，对一些核心算法还支持GPU计算。海光DCU（Data Center Unit）是一款高效通用的GPGPU加速卡，专为人工智能和科学计算任务设计。它在兼容性、软件生态和市场应用方面展现出卓越的价值。
笔记︱几款多模态向量检索引擎：Faiss 、milvus、Proxima、vearch、Jina等
haima1998的专栏
08-18 8591
转自：https://zhuanlan.zhihu.com/p/364923722 引用文章[7]的开篇，来表示什么是： 向量化搜索 人工智能算法可以对物理世界的人/物/场景所产生各种非结构化数据（如语音、图片、视频，语言文字、行为等）进行抽象，变成多维的向量。 这些向量如同数学空间中的坐标，标识着各个实体和实体关系。我们一般将非结构化数据变成向量的过程称为 Embedding，而非结构化检索则是对这些生成的向量进行检索，从而找到相应实体的过程。 非结构化检索本质是向量检索技术，其主要的应用领
faiss-10: benchmarks-基准实验
uncle_ll的博客
02-10 1370
最基本功能的实验基准 Low level benchmarks 仅使用faiss的最基本功能获得一些实验基准数据。 使用k-means方法将1百万个256维向量的数据集聚类为20000个类； 使用k-means方法将95百万个128维向量的数据集聚类85000个类； 实验中关注时间和精度的变化； faiss wiki:https://github.com/facebookresearch/faiss/wiki/Low-level-benchmarks 检索 Indexing 1M vectors 当数据
向量检索Faiss用法
04-01
Faiss是Facebook AI Research开发的一个高效的向量检索库。它支持多种向量相似度度量算法和索引结构，可以处理大规模的向量集合。下面是Faiss的用法： 1. 安装Faiss 可以使用pip或conda进行安装。例如，使用pip...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值