RAG之大模型常用向量数据库对比

最新推荐文章于 2025-04-12 05:15:00 发布
最新推荐文章于 2025-04-12 05:15:00 发布
阅读量4.9k 收藏 7
点赞数 5
文章标签： 人工智能 nlp 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_30921029/article/details/137497582
版权
目录主题
第一章常用的向量库及其对比、向量库底层算法原理
第二章向量构建策略（embedding选型、文本分块）+ 检索召回策略

一. chroma、faiss、milvus对比

Faiss库是一个高效、灵活的向量数据库库，由Facebook于2017年发布并持续维护至今。它提供高效的相似度搜索和稠密向量聚类能力，支持多种索引构建方法和查询策略优化。Faiss易于与深度学习框架集成（如PyTorch），使得用户可以轻松将向量检索功能嵌入到深度学习应用中。它在Facebook内部广泛应用，拥有丰富的社区支持和文档资源。通过Faiss，企业可以构建高效的语义搜索和推荐系统、广告技术平台等应用，实现数据的精准匹配和价值最大化。

关键词：高效性、灵活性、Facebook支持

功能特性：轻松将向量检索功能嵌入到深度学习，适合需要高效相似度搜索和丰富社区支持的大型应用

Milvus是一个专为处理超大规模向量数据而设计的云原生向量数据库。它采用分布式架构和存储方案，确保用户可以高效、可靠地管理和检索大规模数据。Milvus支持多种索引类型和查询优化策略，提供卓越的查询性能和扩展性。它特别适用于大规模内容检索、图像和视频搜索等场景，如智能安防系统、图像和视频搜索引擎等。通过Milvus，企业可以轻松应对不断增长的数据挑战，实现快速、准确的内容检索和分析。

随着数据和查询规模的增加，Milvus 还提供了集群分片的解决方案，支持读写分离、水平扩展、动态扩容等功能，实现了对于超大数据规模的支持。

关键词：大规模数据、云原生、高可用性

功能特性：大规模内容检索、图像和视频搜索，适合需要处理超大规模数据的云端应用

  • 专为处理超大规模向量数据而设计
  • 提供云原生的分布式架构和存储方案
  • 支持多种索引类型和查询优化策略
  • 适用于大规模内容检索、图像和视频搜索等场景

Chroma是一个轻量级、易用的向量数据库，专注于提供高效的近似最近邻搜索（ANN）。它支持多种向量数据类型和索引方法，使得用户可以轻松集成到现有的应用程序中。Chroma特别适用于小型到中型数据集，是初学者和小型项目的理想选择。通过Chroma，用户可以快速构建语义搜索原型、研究或教学项目，并实现准确的数据匹配和检索。

关键词： 轻量级、易用性、开源

功能特性：快速搭建小型语义搜索，适合初学者和小型项目

  • 提供高效的近似最近邻搜索（ANN）
  • 支持多种向量数据类型和索引方法
  • 易于集成到现有的应用程序中
  • 适用于小型到中型数据集

image.png

Chroma与Milvus的更详细的对比参阅文档：https://zilliz.com/blog/milvus-vs-chroma

开源矢量数据库的全面比较 Chroma、Milvus、Faiss 和 Weaviate 矢量数据库之间的比较
iCloudEnd的博客
04-25 802
矢量数据库是一种将数据存储为高维矢量的数据库，高维矢量是特征或属性的数学表示。每个向量都有一定数量的维度，其范围可以从数十到数千，具体取决于数据的复杂性和粒度。向量通常是通过对原始数据（例如文本、图像、音频、视频等）应用某种变换或嵌入函数来生成的。嵌入函数可以基于各种方法，例如机器学习模型、词嵌入和特征提取算法。矢量数据库的主要优点是它允许根据矢量距离或相似性快速准确地搜索和检索数据。
RAG系统（三）向量数据库
h363659487的博客
05-22 970
向量数据库介绍及使用示例。关键概念介绍。
打造RAG系统：四大向量数据库Milvus、Faiss、Elasticsearch、Chroma 全面对比与选型指南
weixin_41645791的博客
12-28 7663
Milvus是一个开源的云原生向量数据库，由 Zilliz 开发和维护。Milvus 专为处理超大规模向量数据而设计，提供高效的相似性搜索和非结构化数据管理功能。它支持多种索引类型，如 IVF、HNSW 等，能够在不同应用场景中实现最佳性能。Faiss（Facebook AI Similarity Search）是由 Meta（前 Facebook）开发的开源库，专注于高效的相似性搜索和密集向量聚类。Faiss 支持搜索任意大小的向量集，尤其在高维向量空间中表现出色，广泛应用于推荐系统、图像检索等领域。
【RAG 篇】万字深度对比：Milvus 与 FAISS、Pinecone、Weaviate 等向量数据库选型指南
最新发布
大F子的智能小课
04-12 2023
欢迎关注。
Milvus 与 Faiss：选择合适的向量数据库
专注于Python编程技术的分享与交流，致力于帮助开发者提升编程技能，解决实际问题，探索Python的无限可能。
10-28 3244
Milvus：Milvus 是一款开源向量数据库，旨在管理和检索大规模的向量数据，支持多种相似性搜索算法，并且支持水平扩展和自动化的数据分区管理。它采用了分布式架构，并提供了丰富的查询功能，适合生产环境中的复杂向量检索应用。Faiss：Faiss 是 Facebook 开发的一款开源向量检索库，主要用于快速近似最近邻搜索（ANN）。Faiss 提供了许多不同的索引类型，支持 GPU 加速，适合单节点的高效相似性检索，但不具备 Milvus 的分布式特性。特性MilvusFaiss架构分布式单节点。
《向量数据库指南》——AI应用长文本与RAG通用对比
实战AI智能体
08-17 769
再加上用户的query，一般情况下长度还是远小于长文本方案的长度，按极限来说长文本是每次付出两个 milliontoken 的推理成本，那 RAG 的方案可能就是 5, 000 个token，每次的推理成本大概是这么一个感觉，但还要考虑到 RAG 有一次性的入库成本，包括除了入库之外，存储还有成本，但是存储成本相对低。比如说是10本某个伟人的手记。可以把一些共同的长上下文先预处理出来，然后当需要用的时候，就直接调用，把 Preview 的时间就给省掉了，但是额外需要付出存储的代价，以及维护存储时间的开销。
大模型知识库——检索增强(RAG)技术与向量数据库的选择
Android23333的博客
11-03 1983
在之前关于RAG技术的文章中有介绍过知识库与检索增强的关系；也简单介绍了RAG的使用场景。 而RAG和向量数据库的实现原理，以及怎么选择向量数据库，是在智能客服，推荐系统等领域必须要解决的一个问题。
RAG与向量数据库
huang9604的博客
06-29 1618
Retriveal Augmented Generation（RAG）检索增强生成，是一种结合了知识检索和生成模型的技术方法，用于减少“幻觉”的产生，主要使用在问答系统，为用户提供正确的答案。
【AI 大模型】RAG 检索增强生成 ⑤ ( 向量数据库 | 向量数据库 索引结构和搜索算法 | 常见 向量数据库 对比 | 安装并使用 向量数据库 chromadb 案例 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
03-02 3588
一、向量数据库 1、向量数据库引入 2、向量数据库简介 3、向量数据库 索引结构和搜索算法 4、向量数据库 应用场景 5、传统数据库 与 向量数据库 对比 二、常见 向量数据库 对比 三、向量数据库 案例 1、安装 向量数据库 chromadb 2、核心要点 解析 ① 创建数据库实例 ② 创建数据库表 ③ 向 向量数据库表 中 插入文本向量 ④ 从 向量数据库表 中查询 相似数据 3、完整代码示例
《向量数据库指南》——基础 RAG 与 GraphRAG 输出质量对比
实战AI智能体
10-22 1091
为了展示 GraphRAG 的有效性，其开发者在博客中比较了基础 RAG 和 GraphRAG 的输出质量。我在这里引用一个简单的例子来说明。
RAG：AI大模型联合向量数据库和 Llama-index，助力检索增强生成技术
丨汀、的博客
05-07 295
RAG：AI大模型联合向量数据库和 Llama-index，助力检索增强生成技术
常用向量数据库与结合大模型的应用
汽车软件开发
04-18 1821
向量数据库与大模型的结合，为AI技术的应用提供了新的方向和可能性。向量数据库通过存储和处理向量数据，提供高效的相似度搜索和检索功能，这使得它在多个领域中发挥着重要作用245。特别是在推荐系统、图像检索、自然语言处理、人脸识别、音频识别、实时数据分析、物联网以及生物信息学等领域，向量数据库的应用场景非常广泛2。结合大模型，向量数据库能够成为大模型的“外脑”，帮助大模型扩展其记忆能力，记住用户对话的历史内容，甚至越过多轮对话9。这种结合不仅增强了大模型的记忆和理解能力，还提高了其在特定领域的应用效果和准确性。
一文讲透向量数据库 2.0：从索引原理到 RAG 大模型全链路架构
努力分享一些人工智能相关的知识干货！
04-07 1065
以前，我们谈的是“用 Faiss 跑检索”。✅多模态向量统一检索（图像、语音、结构化表格都能嵌入）✅多模型共享知识库（Qwen + DeepSeek + GLM 同源调用）✅流式嵌入 + 自动同步文档（文档一变，系统自动更新）✅检索 × Agent 联动（向量检索结果可以驱动动作链）✅与 CI/CD / 反馈系统打通（trace_id × 评分 × 自动再训练）这一篇文章，我们围绕“什么是向量数据库 2.0”为什么大模型时代需要向量数据库向量数据库的原理、结构与算法差异。
大模型RAG优化之高可用向量数据库的“热更”难题与解决方案
kakaZhui的博客
02-07 346
想象一下，你正在运营一个大型电商平台，用户可以上传图片搜索相似商品。需要将新商品的特征向量添加到数据库。需要从数据库中删除旧商品的特征向量。商品的描述、图片等信息可能发生变化，需要更新对应的特征向量。如果每次更新都需要停止搜索服务、重建索引，那用户体验将大打折扣。因此，“热更”指的是在不中断或最小化中断搜索服务的情况下，实时更新向量数据库的索引，使其反映最新的数据变化。
AI大模型的制作：RAG和向量数据库，分别是什么？
杨荧的优快云博客
11-14 7915
AI大模型是指具有大规模参数和复杂结构的人工智能模型。传统的机器学习模型通常有限的参数量，而AI大模型则通过增加参数量和层数来提升模型的表达能力和性能。
怎么看大模型、RAG、Agent、知识库、向量数据库、知识图谱、AGI的区别和联系？...
musicml的博客
05-17 4128
▼最近直播超级多，预约保你有收获我们要把 AI 大模型当做人的大脑，因此调用 AI 大模型，相当于调用一个人，把 AI 大模型当人看，TA 懂人话、TA 说人话、TA 会直接给出结果，但结果不一定正确。因此在 AI 大模型的推理基础上，通过 RAG、Agent、知识库、向量数据库、知识图谱等技术手段实现了真正的 AGI（通用人工智能）。这些技术到底有哪些区别和联系，下图作了横向对比，接下来我们详细...
RAG与本地知识库，向量数据库，以及知识图谱的联系与区别
xx_nm98的博客
11-29 1245
RAG是一种从外部检索数据的方式；本地知识库相当于一个资料库；而知识图谱是组织数据的一种更加科学的方式；向量数据库是用来存储向量化数据的一个载体。所以，本地知识库，向量数据库和知识图谱和RAG没什么直接关系，如果说有关系就是它们三者可以作为RAG技术的一种具体实现；但RAG也可以使用其它的实现方式。RAG，本地知识库，向量数据库，知识图谱是四个完全独立的技术，它们之间没有任何直接关系，但又可以互相合作以达到某种效果。
RAG系统-主流向量数据库
h363659487的博客
05-22 818
主流向量数据库和功能对比
RAG与知识库、向量数据库和知识图谱的联系与区别
Y525698136的博客
01-29 2523
RAG（检索增强生成） 技术的本质就是通过外部资料库来补充大模型的知识，帮助它解决这些问题。就像你在考试时，虽然已经背了很多知识，但如果碰到不会的题目，你会去翻一翻资料，确保自己能答对。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值