动手学习RAG: 向量模型

已于 2024-09-16 00:08:22 修改
阅读量1.4k 收藏 20
点赞数 15
分类专栏： 动手学习RAG 文章标签： 学习
于 2024-09-07 16:55:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_38812492/article/details/141990460
版权

在世界百年未有之变局与个人自暴自弃的间隙中，我们学一点RAG。 RAG是一种独特的应用，“一周写demo，优化搞半年”，我甚至听说它能破解幻术。

为了理解其优化中的关键一环，我们先看下文本向量。文本向量除了是RAG检索的重要模块外，也应用在信息检索、排序、分类、聚类、语义相似度中。

添加图片注释，不超过 140 字（可选）

1. 词向量到文本向量

向量模型把人类世界中的语言，变为计算机世界中的数字。输入一句话，输出一维向量。由于transformer中的一句话一般会输出一个二维向量，其形状为(sequence_length, embedding_dim)，因此模型后面通常加一层pooling，把sequence_length这一维坍塌。

pip install open-retrievals

添加图片注释，不超过 140 字（可选）

colab上有这段小小的代码: https://colab.research.google.com/drive/1dTzcMJNX3kSqqjTFUJXwZu6fRnf_5oHD?usp=sharing

更多更好的模型，根据语言需要（英文或中文还是多语言），顺着MTEB的榜单捋一下就行：https://huggingface.co/spaces/mteb/leaderboard

在这里插入图片描述

2. 文本向量的若干主流训练范式

语言模型可以很容易得到一个文本向量模型，但语言模型并不是为向量训练的，因此预训练的语言模型直接pooling不一定能取得满意的效果。那么，根据向量任务先微调一下再用。

微调的目的，把相似句子向量聚拢更近一些，把不相关的句子向量拉的更远一些。如何从一个语言模型训练出一个向量模型呢？我们从几篇典型论文中理解其范式。

BGE模型

  • 使用普通的文本语料进行RetroMAE预训练
  • 使用大量文本对进行batch内负样本对比学习
  • 使用高质量文本进行困难负样本加batch内负样本根据任务对比学习微调

添加图片注释，不超过 140 字（可选）

GTE模型

  • 大量文本对进行batch内负样本对比学习
  • 高质量文本进行困难负样本学习

在这里插入图片描述

E5-mistral模型

  • 合成大量的不同任务不同语言的检索数据，困难负样本与batch内负样本对比学习

添加图片注释，不超过 140 字（可选）

nv-embed模型

  • 高质量检索数据进行困难负样本加batch内负样本对比学习
  • 继续根据非检索数据，如一些分类等其他任务数据进行微调

添加图片注释，不超过 140 字（可选）

3. 结论

我们试图从几种范式中总结出以下几点认知：

  • 训练方式，尤其是合理设计的多阶段pipeline仍然能够提升性能
  • 数据，数据大小、质量、多样性很重要，甚至更长的文本在向量模型中也更受重视。更重要的，合成数据开始展露头脚
  • 模型，Decoder-only LLM微调的向量模型效果越来越好。大模型也逐步统治向量模型榜单，带来的收益和增加的开销相比如何，咱也不知道，但是这些参数中蕴含的知识确实让人印象深刻
  • 对比学习和难负样本挖掘仍然扮演关键角色。
  • 多任务，用不同任务不同来源的数据进行训练，一个batch内如何组织数据也有优化空间。instruction-based fine-tuning可以在训练时帮助模型拿到任务上的线索
LLMs之RAG：深度剖析基于大语言模型的RAG系统中优化技巧总结—“用户查询”阶段优化策略经验—Query重写、Query分解、Query增强技术思路分析与代码实验结果对比之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-12 4694
​ LLMs之RAG：深度剖析基于大语言模型的RAG系统中优化技巧总结—“用户查询”阶段优化策略经验—Query重写、Query分解、Query增强技术思路分析与代码实验结果对比之详细攻略 目录 相关参考内容 深度剖析基于大语言模型的RAG系统中优化技巧总结—“用户查询”阶段优化策略经验—Query重写、Query分解、Query增强技术思路分析与代码实验结果对比之详细攻略 # 1、定义嵌入模型和LLM # 2、加载数据并预处理：加载网页、文本分割、索引构建 # 3、R
【大模型应用开发 动手做AI Agent】LlamaIndex和基于RAG的AI开发
AI天才研究院
05-27 1278
随着人工智能技术的飞速发展,大语言模型(Large Language Models, LLMs)在各个领域得到了广泛应用。LLMs通过从大规模文本语料中学习,可以生成连贯、自然的文本,完成复杂的自然语言处理任务。然而,LLMs仍然存在知识储备有限、推理能力不足等问题。为了进一步增强LLMs的能力,学术界和工业界开始探索LLMs与其他技术的结合,比如知识图谱、检索增强生成(Retrieval-Augmented Generation, RAG)等。
基于向量检索的RAG原理和实战
leonhongliang806的博客
05-10 4018
RAG（Retrieval Augmented Generation）检索增强生成通常用于在大模型交互过程中通过检索的方法来增强生成模型的能力。由于大模型存在的局限性（大模型的知识不是实时的，大模型可能不知道某些私有领域的知识），可以使用检索的方式给大模型提供相应的知识，再参考回答问题一张图说明RAG的流程将知识灌入数据库用户提问先去数据库检索相关知识将检索出的内容结合prompt送给大模型大模型给出回答。
大模型学习笔记五：RAG
谢白羽
03-04 2198
1、LLM 的知识不是实时的2、LLM 可能不知道你私有的领域/业务知识搭建过程：1、文档加载，并按一定条件切割成片段2、将切割的文本片段灌入检索引擎3、封装检索接口4、构建调用流程：Query -> 检索 -> Prompt -> LLM -> 回复1、文档加载2、文档切分3、向量化4、灌入向量数据库。
一篇文搞懂RAG和向量数据库
Z987421的博客
04-10 2205
RAG（检索增强生成）的核心价值在于通过动态知识检索机制显著提升大模型生成质量，其核心优势体现在三个方面：首先，通过实时检索外部知识库为模型提供最新信息源，将生成结果锚定在事实性数据上，有效减少大模型的幻觉现象；其次，对比传统微调方案具备更强的经济性，能以不足20%的成本实现跨领域知识快速迁移；再者，支持即时的知识更新，省去重复训练的算力消耗。向量化处理技术作为RAG的基石在其中发挥着关键作用：通过语义编码模型将文本转化为高维向量，构建可扩展的向量数据库。
心法利器[104] | 基础RAG-向量检索模块（含代码）
baidu_25854831的博客
12-17 410
心法利器本栏目主要和大家一起讨论近期自己学习的心得和体会，与大家一起成长。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。2023年新一版的文章合集已经发布，获取方式看这里：又添十万字-CS的陋室2023年文章合集来袭，更有历史文章合集，欢迎下载。往期回顾心法利器[99] | 无监督字面相似度cqr/ctr源码心法利器[100] | 系列100篇了，写作收获和个人成长心法利器[101] | 从...
一文读懂：大模型RAG（检索增强生成）
热门推荐
m0_59164304的博客
04-11 3万+
本文概述 RAG 的核心算法，并举例说明其中的一些方法。RAG融合是一个强大的功能，能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序，RAG融合可以呈现更丰富多样的内容，并提供了一个额外的层次，用于调整应用。此外，RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是，需要注意一些权衡，比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但可能出现内部行话或重叠词汇的应用来说，RAG融合尤其有用。
大模型RAG最全梳理：一文搞懂RAG技术的5种范式！赶紧收藏了！！
python12345_的博客
03-07 1304
1. 数据库层面，从最开始的简单词嵌入，到向量数据库，到知识图谱，再到混合的多种类型数据库。\2. 数据方面，从单纯的文本扩展到多模态数据，包括文本、音频、图片、视频。获取结构化良好，高质量，干净，冗余小的数据。\3. 数据处理方面，从需要大量的预处理步骤到一些端到端的RAG方案，例如用VLM直接处理非结构化文档。
RAG 修炼手册｜揭秘 RAG 时代的新向量数据库
ZILLIZ
05-07 3002
RAG 场景中对向量数据库的召回效果有着严格的要求，不仅需要高精度和快速响应的召回这类基础能力，还需要处理多模态数据的能力以及可解释性和可调试性这类更高级的功能，以确保生成模型能够基于高质量的召回结果产生准确和相关的输出。其次在检索效率方面，由于信息可以表示成高维向量，针对向量加上特殊的索引优化和量化方法，可以极大提升检索效率并压缩存储成本，随着数据量的增长，向量数据库能够水平扩展，保持查询的响应时间，这对于需要处理海量数据的 RAG 系统至关重要，因此向量数据库更擅长处理超大规模的非结构化数据。
腾讯云向量数据库——RAG七天入门课笔记
艰难困苦，玉汝于成。
04-08 5346
2023年，大语言模型爆发元年，不管是CloseAI出品的GPT系列模型，还是LLAma系列开源模型、Google的Gemini等模型等，其表现能力都让人叹为观止，大语言模型在自然语言领域的表现都远超以往任何模型。
高级RAG：揭秘PDF解析
安静的软件工程师
02-24 3190
高级RAG：揭秘PDF解析
RAG实操教程langchain+Milvus向量数据库创建你的本地知识库 一
python122_的博客
06-21 1262
RAG是的缩写，翻译为中文的意思就检索增强，以基于最新，最准确的数据建立LLM的语料知识库。LLM。
深度解析RAG技术在大模型时代的原理与实践
m0_64752471的博客
10-21 1929
在 LLM 时代，RAG 的具体定义指的是，当回答问题或生成文本时，首先从大量文档中检索相关信息。随后，利用这些检索到的信息来生成响应或文本，从而提高预测质量。索引：文档被分割成块，编码成向量，并存储在向量数据库中；检索：根据语义相似性检索与问题最相关的前 k 个块；生成：将原问题和检索到的词块一起输入大语言模型中，生成最终答案。RAG 文本问答RAG 多模态问答。
5分搞懂大模型 - RAG（检索、增强、生成）
2401_85327249的博客
09-01 5344
RAG（Retrieval-Augmented Generation，检索增强生成） 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。RAG模型由Facebook AI Research（FAIR）团队于2020年首次提出，并迅速成为大模型应用中的热门方案。
AI大模型的制作：RAG和向量数据库，分别是什么？
杨荧的优快云博客
11-14 8039
AI大模型是指具有大规模参数和复杂结构的人工智能模型。传统的机器学习模型通常有限的参数量，而AI大模型则通过增加参数量和层数来提升模型的表达能力和性能。
使用本地 Llama 2 模型和向量数据库建立私有检索增强生成 (RAG) 系统 LangChain
iCloudEnd的博客
10-08 1444
在人工智能领域，获取最新且准确的数据至关重要。检索增强生成（RAG）模型证明了这一点，它作为人工智能生态系统中的既定工具，利用大型语言模型与外部数据库的协同作用，提供更精确和最新的答案。借助 RAG，您不仅能获得黑匣子答案，还能获得黑匣子答案。您将收到基于直接从最新数据源提取的实时信息的见解。然而，当 RAG 拥有可靠且高效的数据源时，它的力量才能真正发挥出来。这就是非结构化的闪光点。想象一下，有一个以各种格式和位置分布的数据宝库，利用它的任务感觉非常艰巨。
RAG 高效应用指南：Embedding 模型的选择和微调
2401_85379281的博客
09-17 3997
万物皆可 Embedding。在推荐系统、自然语言处理和计算机视觉等领域，Embedding 是一个非常重要的概念。Embedding 的本质是一种将高维稀疏数据转换为低维稠密向量的技术，通过这种转换，能够捕捉数据中的语义或特征关系。具体来说，Embedding 用一个多维稠密向量来表示事物的多维特征，从而在一个连续的向量空间中刻画事物之间的相似性和差异性。这种表示方式不仅提高了计算效率，还增强了模型对数据内在结构和关系的理解能力。
通俗地说说RAG及其与大模型的结合
2401_85375186的博客
12-02 946
RAG解决了一个大模型无法实时获取外部数据的问题，是一个非常大的进步。但RAG方案真的很好吗？我觉得不够好。打个比方，这个外部查询数据再送给大模型的方法，有点类似于一个教授在写论文，但它依靠的输入是一个小学生查的资料，并且这个资料它还必须用。你说教授能写出好论文？但当前也没有更好的方案来解决这个问题。所以，在没有更好的方案之前，它仍然是最好的。END。
rag毕设
最新发布
04-12
### 关于RAG（检索增强生成）的毕业设计主题及相关资料 #### RAG技术概述 检索增强生成（Retrieval-Augmented Generation, RAG）是一种结合信息检索和自然语言生成的技术，旨在利用外部知识库来提升生成模型的效果。这种技术可以有效解决传统生成模型中存在的“幻觉”问题，即生成的内容可能与事实不符的情况[^1]。 #### 可选毕业设计主题 以下是几个适合围绕RAG展开的毕业设计主题： 1. **基于RAG的问答系统开发** 构建一个支持实时检索并生成高质量答案的问答系统。该系统可以通过搜索引擎获取相关文档片段，并将其作为上下文输入到生成模型中，从而提高回答准确性[^3]。 2. **纠正性检索增强生成(Corrective RAG)的应用研究** 探讨如何改进现有的RAG框架，在发现错误信息时自动修正或补充更可靠的数据源。这涉及到了解CRAG的工作机制及其组件——内容质检员、网络搜索模块以及信息融合算法的设计实现。 3. **跨领域适应性的RAG模型优化** 分析不同类型数据集(如学术文章 vs 商业报告)对于预训练模型表现的影响，并尝试调整策略降低特定场景下的标注开销。考虑到很多公开可用的大规模语言模型(LLMs)，尤其是那些专注于科学文献处理的版本，往往难以很好地适用于非LaTeX格式文件解析任务[^2]。 4. **个性化推荐服务中的RAG集成方案** 设计一款能够根据不同用户的兴趣偏好动态调整检索范围和服务方式的产品原型。此项目需考虑用户体验因素，比如未登录状态下仅允许有限访问权限等问题[^4]。 5. **多模态RAG架构探索** 尝试将视觉或其他感官维度加入传统的文本型RAG流程之中，形成更加丰富的交互体验形式。例如，当用户上传图片询问其中包含什么物品时，除了文字描述外还能提供关联商品链接等附加价值信息。 #### 技术栈建议 - 编程语言：Python 是首选工具之一，因为它拥有强大的机器学习库生态体系。 - 数据管理：采用 Elasticsearch 或 Milvus 这样的向量数据库存储索引过的海量语料资源。 - NLP 模型选用：Hugging Face Transformers 提供了大量的预训练权重可供下载使用；也可以自己动手Fine-tune 得到定制化效果更好的子型号实例。 ```python from transformers import RagTokenizer, RagTokenForGeneration tokenizer = RagTokenizer.from_pretrained("facebook/rag-token-nq") model = RagTokenForGeneration.from_pretrained("facebook/rag-token-nq") question = "What is the capital of France?" input_ids = tokenizer(question, return_tensors="pt").input_ids outputs = model.generate(input_ids) answer = tokenizer.decode(outputs[0], skip_special_tokens=True) print(f"Question: {question}\nAnswer:{answer}") ``` 上述代码展示了如何加载官方发布的Facebook版RAG-Token-NQ模型并通过简单提问得到相应回复的过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YueTann

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值