6、大模型之RAG，即检索增强式生成（Retrieval Augmented Generation）

最新推荐文章于 2025-04-27 12:01:21 发布
最新推荐文章于 2025-04-27 12:01:21 发布
阅读量1.1k 收藏 8
点赞数 16
CC 4.0 BY-SA版权
分类专栏： 大模型 文章标签： 人工智能 chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hugofgh/article/details/140073513

什么是RAG？

RAG，即检索增强式生成（Retrieval Augmented Generation），是一种结合了检索和生成两种方 法的自然语言处理技术。它利用检索技术从大量数据中快速找到相关信息，然后使用生成技术对这 些信息进行整合和创造，生成高质量的文本。

RAG的作用

  • 提高生成文本的质量和准确性：通过检索技术，RAG可以确保生成的内容基于可靠的信息源，从而提高文本的准确性和质量，减少模型的生成幻觉。

  • 增强生成文本的多样性：RAG可以从多个信息源中检索信息，使得生成文本的内容更加丰富和多样化。

  • 提高生成速度：检索技术可以快速定位到相关信息，从而加快生成过程。

  • 实现长文本生成：RAG可以处理长文本生成任务，因为它可以从多个信息源中检索和整合信息，生成连贯且内容丰富的长文本。

RAG每步难点和要解决的问题

1、首先是数据提取。

这一步的核心是要把各种结构化，非结构化数据能提取出来，用于后面的处理。这里的复杂度主要是：

1.1 文件格式复杂，以 pdf 为例子，不光有文字，还夹杂有图表，图片里面又有文字。

1.2 文件有上下文，要把上文相关的元信息提取出来，后面就更容易处理。如果不提取元信息，那下一步数据分块，就容易切分错误。

2、其次数据索引。

这一步做好文档的切分， embedding 模型，把文件 embedding 成向量，才可以把向量存到向量数据库里面去。这里的难点又有两个：

2.1 数据切分，过大，过小都会有问题

最低0.47元/天 解锁文章

200万优质内容无限畅学
对话机器人-检索与生成模型
yiyele的博客
12-17 3万+
综述 从应用的角度来说，对话机器人可以分为三个类别，分别是闲聊机器人，qa机器人以及任务型机器人。本系列主要介绍闲聊机器人。由于本文的内容主要是对对话机器人做一个简单的介绍，所以都是一些简单的介绍，详细的内容后面后有介绍。 一 QA机器人 问答机器人主要功能是在知识库找到用户提问的问题的答案。主要用于智能客服等。一般来说问答机器人是不涉及多轮，主要是针对某一个领域的问答。构建一个问答...
京东电商搜索：大模型生成式检索优化实践
京东零售技术的博客
12-12 4214
详细介绍了基于大模型的生成式检索，从 Lexical based 方向深入探究大模型生成式检索的应用，从 SemanticID based 方向深入探究大模型生成式检索的应用。
生成式检索模型
weixin_49672862的博客
04-16 936
以下表格总结了各模型的关键属性，方便对比分析：
大模型+检索增强（RAG、Atlas 和 REPLUG）
ZhengrongYue的博客
09-19 1万+
大模型+检索增强/图谱增强（RAG、Atlas 和 REPLUG）
一文搞懂大模型 RAG 检索增强生成
2201_75499313的博客
02-24 1822
检索增强生成（Retrieval Augmented Generation，RAG）是一种强大的工具，它通过将外部知识整合到生成过程中，增强了大型语言模型（LLM）的性能.让我们探索 RAG 的关键组成部分。第一、定制知识库定制知识库是指一系列紧密关联且始终保持更新的信息集合，它构成了 RAG 的核心基础。这个知识库可以表现为一个结构化的数据库形态，也可以表现为一套详尽的文档体系，甚至可能是两者兼具的综合形式。第二、分块分块技术是指将大规模的输入文本有策略地拆解为若干个较小、更易管理的片段的过程。
中科院计算所：什么情况下，大模型才需要检索增强？
夕小瑶科技说
02-22 1328
中科院计算所的研究团队对此进行了深入研究，定量评估了大型语言模型对知识边界的感知能力，并发现它们确实存在过度自信的问题。团队进一步探讨了模型对问题确定性与外部检索信息依赖之间的关系，并提出了几种创新方法来增强模型对知识边界的感知，从而减少过度自信。虽然依赖黄金文档并不等同于答案的准确性，因为模型可能参考了文档的其他部分，但答案与文档之间的重叠增加仍然是一个重要指标。：在提供答案之前要求模型解释其答案的原因，这样不仅可以获得辅助信息，还可能通过要求模型解释答案来减少没有合理解释的错误回答的风险。
RAG检索增强技术在知识库智能检索场景下的应用实践
FrenzyTechAI的博客
12-18 9050
本文我们主要探讨了知识检索增强（Retrieval-Augmented Generation, RAG）技术的关键评估方法和行业应用，以及几种现有的技术栈选择及其优缺点。首先，关于RAG的效果评估，我们提到了两种主要的评估方式：独立评估和端到端评估。独立评估包括检索评估和生成评估，重点在于分别量化检索结果的质量和生成问题的能力。端到端评估则结合了无标签和有标签的评估指标，以及人工或GPT模型的评估方法，以获得更全面的效果评价。
生成式信息检索（问答系统与信息检索的进步）
lt5227的博客
07-11 3194
问答系统的发展经历了从基本检索系统到利用深度学习模型的复杂问答系统的演变。这些系统通过使用词嵌入、预训练语言模型和向量数据库来改善信息的检索和生成。最新的技术如可微搜索索引（DSI）和生成式检索方法在提供精准答案的同时，面临诸如遗忘问题和扩展性挑战。同时，开放式生成问答系统如REALM和RAG利用外部记忆来提高回答质量，展示了在处理开放域问题时的优势。这些系统的设计不仅关注效率，还强调答案的准确性和来源的透明度，旨在优化用户体验并减少信息检索的成本。
万字长文总结检索增强 LLM
WitsMakeMen的专栏
09-15 1617
检索增强 LLM ( Retrieval Augmented LLM )，简单来说，就是给 LLM 提供外部数据库，对于用户问题 ( Query )，通过一些信息检索 ( Information Retrieval, IR ) 的技术，先从外部数据库中检索出和用户问题相关的信息，然后让 LLM 结合这些相关信息来生成结果。这种模式有时候也被称为 检索增强生成 ( Retrieval Augmented Generation, RAG )。下图是一个检索增强 LLM 的简单示意图。
Google-生成式做信息检索
chazhongxinbitc的博客
03-30 1011
摘要 本文介绍用单个 Transformer 利用Seq2Seq的结构完成信息检索，所有关于语料库的信息都被编码在模型的参数中。 本文还引入可微搜索索引 (DSI-Differentiable Search Index)，学习text- text模型的新范式，将字符串查询直接映射到相关文档； 换句话说，DSI 模型直接回答查询，仅使用其参数，大大简化整个检索过程。 这里其实比较重要的是文档及id的定义和表示，以及模型和语料库大小之间的相互作用。 实验表明，给定适当的设计选择，DSI 明显优于强基线，例如双
一文详解检索增强语言模型新范式REPLUG
zenRRan的博客
03-08 4547
来自：AI算法小喵 公众号写在前面好久不见，今天小喵要跟大家分享一篇23年2月的论文《REPLUG: Retrieval-Augmented Black-Box Language Models》[1]，这么热乎的文章，建议大家先收藏再看。23年的这篇论文提出了检索增强的新范式，即REPLUG。它将语言模型当作一个黑盒子，即冻结语言模型的参数不再优化，转而去优化检索组件让检索组件来适配语言模型，以此...
探索大模型应用：构建基于检索的RAG实战指南
2401_84587944的博客
05-05 1776
4. Prompt模板构建构建一个符合中文对话语境的Prompt模板，用于生成问题并提供已知信息。
太强了！最全的大模型检索增强生成（RAG）技术概览！
机器学习社区
03-10 7841
如果你已经熟悉检索增强生成（Retrieval Augmented Generation, RAG）的概念，请直接跳转到高级 RAG 部分。检索增强生成（Retrieval Augmented Generation, RAG）是一种技术，它通过从数据源中检索信息来辅助大语言模型（Large Language Model, LLM）生成答案。
一文道尽 RAG，为大模型提供你的私有知识
qkh1234567的博客
08-28 1228
什么是 RAG？先说一个你可能不相信的事实：RAG 是2005年提出的古老技术（论文在此https://arxiv.org/pdf/2005.11401）。然后我们先看一个学术定义：“检索增强生成（Retrieval-augmented Generation）是指对大型语言模型输出进行优化，使其能够在生成响应之前引用训练数据来源之外的权威知识库。”转为人话就是：“因为大模型的知识是固化的，所以当我们需要大模型理解我们的私有知识时，需要自己先找到当下需要的知识片段，然后把片段提交给大模型理解、判断、推理和总
一种特殊的rag案例faq
sinat_28694519的博客
02-16 526
rag应用已经有成熟的操作范式，针对具体场景又有一些细微的变化。以电商业务中的问答场景为例，客户积累了大量的问答数据，即faq问答对，这些数据是结构化的，需要再加工处理的步骤不多，非常有利于做rag应用。以下以这种特殊场景为例，简要介绍rag处理步骤。已经存在大量faq问答对的场景，将数据过滤索引后，很容易接入rag系统，进行问答改造。此外，这类问答场景中，客户问题一般也具有某种共性，可以提取一些规则，基于规则匹配faq问答对，提高召回数据准确性。
一文读懂：大模型RAG（检索增强生成）
热门推荐
m0_59164304的博客
04-11 3万+
本文概述 RAG 的核心算法，并举例说明其中的一些方法。RAG融合是一个强大的功能，能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序，RAG融合可以呈现更丰富多样的内容，并提供了一个额外的层次，用于调整应用。此外，RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是，需要注意一些权衡，比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但可能出现内部行话或重叠词汇的应用来说，RAG融合尤其有用。
人工智能应用之知识问答实现方案概览
tdzhqxy的博客
06-12 1109
2、随着LLM能力的增强，可以接受的prompt长度越来越长（claude-100k等），对于文本切分成段落进行存储及查找召回的要求会越来越低，后期文本内容可以完整的放到数据库中及发给大模型的输入中。1、在根据用户问题进行查找，召回匹配的文本片段时，不必完全依赖向量化以及向量数据库，使用传统搜索引擎也是一种召回的可选方案。3、扩展性和可控性（可以根据需求，增、删、改特定问题的回答内容，或以特定形式进行回复处理，如进入剧本、非文本回复等）。1、构建如上图的知识体系，叶节点是目标答案。
Free2AI：FAQ知识库构建实践：RAG技术驱动的智能问答系统搭建
最新发布
Free2AI DBMove
04-27 713
在数字化时代，企业和组织积累了大量的常见问题（FAQ）文档，这些文档是宝贵的知识财富。然而，传统的问答方式难以快速、准确地从海量 FAQ 中提取有效答案。检索增强生成（Retrieval-Augmented Generation，RAG）技术的出现，为智能问答系统的搭建提供了新的解决方案。RAG 技术结合了检索和生成的优势，能够在海量知识库中精准检索相关信息，并通过生成模型生成自然流畅的答案，极大提升了问答系统的效率和准确性。RAG 系统主要由检索模块和生成模块两部分组成。
知识图谱检索增强生成 大模型 RAG
01-06
### 使用大模型RAG增强知识图谱检索 #### 方法概述 为了提升知识图谱的检索效率和准确性，可以采用基于Retrieval-Augmented Generation (RAG) 的方法。这种方法结合了密集向量索引技术和生成式预训练模型的优势，在处理复杂查询时表现出色[^1]。 #### 实现细节 具体来说，Graph RAG 技术将整个知识图谱视为一个巨大的词汇表，其中每个实体和关系都被当作独立词条来对待。这种设计允许系统在执行检索操作期间把实体及其关联的关系作为一个整体来进行考虑，从而提高了上下文理解能力和连贯性[^2]。 当接收到用户提出的自然语言形式的问题后： - **编码阶段**：利用BERT或其他类似的双向Transformer架构对输入文本进行编码得到固定长度的表示； - **检索阶段**：根据上述获得的语义特征从预先构建好的知识图谱数据库里挑选出最有可能包含答案的部分；此时会特别关注那些与问题中提到的关键概念密切相连的知识片段； - **解码/生成阶段**：最后一步则是调用T5这样的序列到序列转换器完成最终的回答合成工作。它可以根据前面找到的相关资料自动生成一段流畅且准确回应原问句的内容。 以下是简化版Python伪代码展示这一过程的核心部分: ```python from transformers import BertTokenizer, T5ForConditionalGeneration def rag_knowledge_retrieval(query_string): tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = T5ForConditionalGeneration.from_pretrained('t5-small') # 编码阶段 inputs = tokenizer.encode("question: " + query_string, return_tensors="pt") # 假设这里有一个函数可以从KG中检索相关信息并返回top-k条目 retrieved_facts = retrieve_top_k_facts_from_kg(inputs) context = ' '.join([fact['text'] for fact in retrieved_facts]) input_ids = tokenizer( f"context: {context} </s> question: {query_string}", max_length=512, truncation=True, padding='max_length', return_tensors='pt' )["input_ids"] outputs = model.generate(input_ids=input_ids) answer = tokenizer.decode(outputs[0], skip_special_tokens=True) return answer ``` 此段代码展示了如何集成现有的Hugging Face Transformers库中的组件来创建一个简单的RAG框架用于增强型知识图谱检索应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值