LLM应用架构之检索增强（RAG，retrieval-augmented generation）的缘起与架构介绍

最新推荐文章于 2025-04-22 10:45:15 发布
最新推荐文章于 2025-04-22 10:45:15 发布
阅读量6k 收藏 19
点赞数 7
分类专栏： # 大模型RAG检索增强/知识库 LLM大语言模型 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sinat_37574187/article/details/133148372
版权

LLM应用架构之检索增强（RAG）的缘起与架构介绍

原创 ully AI工程化 2023-08-21 21:53

收录于合集

#领域技术13个

#LLM应用架构3个

动手点关注

图片

本文是LLM应用架构系列的第一篇，将介绍LLM应用开发里最常见的一种架构模式RAG（ Retrieval Augmented Generation），它被广泛应用于知识问答，智能助手等常见LLM应用场景中。在后续文章中还将介绍该模式落地实际过程中的一些常见问题及改进思路，欢迎关注“AI工程化”，持续为大家更新。

当前，随着大模型应用落地需求不断增加，越来越多的人在寻找搭建LLM应用的最佳模式，而这种模式就如同当年web开发中MVC架构一样，能够很好地指导开发者正确高效地开发应用。目前，在LLM开发领域，有RAG

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【大模型】「RAG，Retrieval-Augmented Generation」检索增强生成-全流程
强化学习曾小健
04-19 3149
检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。
RAG（Retrieval-Augmented Generation，检索增强生成）
最新发布
allein_STR的博客
05-19 47
RAG（Retrieval-Augmented Generation）是一种结合检索与生成的架构，旨在解决传统语言模型在处理需要外部知识任务时的局限性。传统模型依赖预训练数据，难以处理动态或实时信息，且可能产生错误信息。RAG通过检索外部知识库获取相关信息，再结合语言模型生成回答，适用于问答系统、事实核查、实时信息生成等需要准确外部知识的任务。RAG架构包括检索器、向量数据库、生成模型和排序/过滤模块，形成“检索-生成-反馈”链路。其优势包括知识时效性、抗幻觉能力、可解释性和轻量级适配。典型应用场景包括企业
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
女王の专属领地
01-20 1万+
检索增强生成（RetrievalAugmentedGeneration），简称RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
一文带你了解RAG(检索增强生成) | 概念理论介绍+ 代码实操
2401_85375151的博客
07-29 2890
RAG（Retrieval Augmented Generation, 检索增强生成）是一种技术框架，其核心在于当 LLM 面对解答问题或创作文本任务时，首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材，继而依据这些素材精准指导后续的回答生成或文本构造过程，旨在通过此种方式提升模型输出的准确性和可靠性。RAG 技术架构图介绍：富文本 主要存储于 txt 文件中，因为排版比较整洁，所以获取方式比较简单实战技巧：【版面分析——富文本txt读取】
【AI大模型】检索增强生成（RAG）深度教程，收藏这一篇就够了！！
2401_85325557的博客
04-22 825
检索增强生成（Retrieval-Augmented Generation，简称 RAG）指在大型语言模型（LLM）的生成过程中，引入外部知识检索，以提高回答的准确性和可靠性。通过让LLM在生成回答时参考外部知识库的信息，RAG技术可以有效减少模型产生事实性错误（即所谓的“幻觉”）并提升答案的事实正确性。典型的RAG系统包含四个基本组件：嵌入模型、向量数据库、提示模板以及生成式LLM。在查询时，系统会先将用户查询通过嵌入模型编码成向量表示，然后在向量数据库中检索出与查询最相关的文档片段，将这些片段填充到预先
论文阅读：Retrieval-augmented Generation across Heterogeneous Knowledge
qq_44773028的博客
11-24 2583
检索增强生成（RAG）方法越来越受到NLP社区的关注，并在许多NLP下游任务上取得了最先进的性能。与传统的预训练生成模型相比，
一文读懂：大模型RAG（检索增强生成）
热门推荐
m0_59164304的博客
04-11 3万+
本文概述 RAG 的核心算法，并举例说明其中的一些方法。RAG融合是一个强大的功能，能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序，RAG融合可以呈现更丰富多样的内容，并提供了一个额外的层次，用于调整应用。此外，RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是，需要注意一些权衡，比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但可能出现内部行话或重叠词汇的应用来说，RAG融合尤其有用。
Retrieval-Augmented Generation (RAG) 技术指南
hello.reader
12-30 1973
RAG（Retrieval-Augmented Generation），中文可译作“检索增强生成”，是指在生成式模型（如 GPT 等）的基础上，结合信息检索（Retrieval）技术，通过从外部知识库或索引中检索到更多相关信息，从而对模型的输入进行增强，最终生成更准确、更丰富的回答或内容。核心思想：在回答问题或生成内容时，不仅依赖于语言模型训练过程中的参数，还利用实时检索到的知识和上下文，以弥补大模型本身记忆能力和训练数据时效性的不足。典型流程。
AUTO-RAG: AUTONOMOUS RETRIEVAL-AUGMENTED GENERATION FOR LARGE LANGUAGE MODELS
c_cpp_csharp的专栏
12-30 263
迭代检索是指模型在生成过程中不断查询检索器，以增强检索到的知识的相关性，从而提高检索增强生成（RAG）的性能的过程。现有的工作通常采用很少的样本提示或手动构建的规则来实现迭代检索。这引入了额外的推理开销，并忽略了大型语言模型（LLM）的卓越推理能力。本文介绍了Auto RAG，这是一种以LLM强大的决策能力为中心的自主迭代检索模型。Auto RAG与检索器进行多轮对话，系统地规划检索并细化查询，以获取有价值的知识。这个过程会一直持续到收集到足够的外部信息，然后将结果呈现给用户。
高级检索增强生成技术(RAG)全面指南：原理、分块、编码、索引、微调、Agent、展望
人工智能讲师分享前沿技术
04-27 6684
如果我们使用多个源来生成答案，要么是由于初始查询的复杂性（我们必须执行多个子查询，然后将检索到的上下文合并到一个答案中），要么是因为我们在各种文档中找到了单个查询的相关上下文，问题是我们是否能够准确地回溯我们的来源。显然，尽管OpenAI是LLM提供商的市场领导者，但仍有许多替代方案，例如Anthropic的Claude、最近流行的较小但功能强大的模型，例如Mixtral形式的Mistral、Microsoft的Phi-2以及许多开源选项，例如Llama2、OpenLLaMA、Falcon。
不用苦苦寻觅！这是大模型检索增强生成（RAG）最全综述！
机器学习社区
02-03 1万+
是什么：RAG 是一种通过检索外部知识库来获得额外语料，并使用 ICL（In-Context-Learning，上下文学习）来改进 LLM 生成效果的范式。为什么：LLM 受训练语料的限制，无法感知最新的内容，比如 LLM 训练后的新闻；此外，LLM 也容易产生幻觉，生成不正确的内容。如何做：当用户发起一个生成请求时，首先基于用户的 prompt 来检索相关信息，然后这些信息会被组合到 prompt 中，为生成过程提供额外的上下文，最后将组合后的 prompt 输入 LLM 生成结果。
Retrieval-Augmented Generation for Large Language Models: A Survey
Anooyman的博客
01-07 3423
在大型语言模型时代，RAG的具体定义是指在回答问题或生成文本时，首先从大量文档中检索相关信息的模型。随后，它利用这些检索到的信息来生成响应或文本，从而提高预测的质量。RAG方法允许开发人员避免为每个特定任务重新训练整个大型模型。
论文：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
qq_40212975的博客
10-16 3407
论文：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks code:https://github.com/huggingface/transformers
认识Retrieval Augmented Generation（RAG）
weixin_49477258的博客
06-24 1290
Retrieval-Augmented Generation (RAG) 是一种结合信息检索和生成式AI技术的框架。它通过从外部数据源检索信息，增强语言模型（如GPT-3）的生成能力，从而提供更加准确和相关的回答。RAG可以利用外部数据源生成精确的摘要，节省大量时间。例如，经理和高管可以快速获取重要信息，而无需通读冗长的报告。RAG 是利用大型语言模型并结合专门数据库的最佳技术之一。虽然存在输入数据质量依赖等限制，但通过谨慎的数据管理和专家知识的融合，可以确保系统的可靠性和有效性。
一文带你了解大模型的RAG(检索增强生成) | 概念理论介绍+ 代码实操（含源码）
机器学习社区
12-30 2万+
RAG的全称是Retrieval-Augmented Generation，中文翻译为检索增强生成。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。本文介绍了 RAG 的概念及其背后的一些理论，本文通过Python、LangChain将其实现，在此过程中使用了 OpenAI的ChatGPT接口（可以自己搭建chatGLM3）、Weaviate矢量数据库（可以自己搭建Milvus ）、OpenAI 嵌入模型实现了 RAG 管道。
RAG检索增强生成（Retrieval-augmented Generation）
u013558123的博客
02-18 1027
RAG检索增强生成（Retrieval-augmented Generation）
RAG:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 论文阅读
ZhenL9911的博客
06-26 2183
很多参数知识存储在LLMs中的参数中（LAMA这篇文章证明），针对下游任务微调之后可以取得SOTA效果。但是这种方式具有一定的劣势：在Open-QA任务上，仍然还很欠缺，（语言模型还不能很好的获取精确知识）、给出的答案不具有可解释性，对于知识库无法实现实时更新的效果，不便于更新。论文提出RAG：参数化知识（BART预训练学到的知识） ＋ 非参数化知识（维基百科的密集向量索引）结合的方式来解决这三类问题。开放域问答。
一文读懂RAG（检索增强生成）
2401_85375298的博客
08-09 1786
近阶段，笔者落地了一个蛮深刻的项目，该项目通过RAG技术成功解决了一些问题。因此计划通过两篇文章跟大家分享有关RAG结合ToB Agent应用的探索与实践。本篇文章，主要关于笔者对RAG（围绕Navie RAG）的些许理解。
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks复现
01-10
### 如何实现检索增强生成(Retrieval-Augmented Generation, RAG)在知识密集型自然语言处理任务中的应用 #### 设计架构 为了应对大型语言模型(LLM)在处理特定领域或知识密集型任务时遇到的挑战，如幻觉(hallucination)、过时的知识等问题[^1]，可以采用RAG框架来提升性能。该方法通过引入外部权威知识库，在生成回复前先进行信息检索并融合这些高质量的信息源。 #### 数据准备 构建一个适合目标应用场景的数据集非常重要。对于知识密集型的任务来说，这通常意味着收集来自可靠资源的事实性陈述或其他形式的相关资料作为补充材料。例如医学文献数据库PubMed可用于医疗咨询类问题解答；法律条文汇编则适用于法规解释场景。 #### 模型选择与配置 选用预训练好的大规模语言模型作为基础组件，并对其进行微调以适应具体业务需求。同时还需要设置专门用于执行文档检索操作的服务端接口或者API客户端工具包。当接收到用户输入后，系统会自动向指定搜索引擎发起请求获取最匹配的结果片段列表。 #### 集成流程说明 整个工作流大致分为三个阶段： - **查询解析**：分析用户的原始提问意图，提取其中的关键概念词组； - **证据搜集**：基于上述关键词利用预先定义好连接至专业知识库(比如维基百科页面链接集合) 的 API 接口抓取若干篇目摘要内容； - **答案合成**：最后一步就是把前面两步得到的信息传递给 LLM 进行最终的回答创作。此时不仅要考虑如何合理安排句子顺序使得表达连贯流畅，还要注意避免直接复制粘贴原文本而造成版权侵权风险。 ```python import requests from transformers import pipeline def rag_pipeline(question): # Query Parsing Stage key_terms = extract_keywords(question) # Evidence Collection Stage retrieved_docs = [] for term in key_terms: response = requests.get(f"https://api.example.com/search?q={term}") docs = response.json()['results'] retrieved_docs.extend(docs[:3]) # Limit to top 3 results per keyword context = "\n".join([doc['snippet'] for doc in retrieved_docs]) # Answer Synthesis Stage using pre-answering') result = qa_model({ 'context': context, 'question': question }) return result['answer'] # Example usage print(rag_pipeline("What are the symptoms of diabetes?")) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值