A Survey on Retrieval-Augmented Text Generation for Large Language Models

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量323 收藏
点赞数 2
CC 4.0 BY-SA版权
分类专栏： LLM Daily Survey Paper RAG for LLM 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/141276127

本文是LLM系列文章，针对《A Survey on Retrieval-Augmented Text Generation for Large Language
Models》的翻译。

大型语言模型检索增强文本生成研究综述

摘要

检索增强生成（RAG）将检索方法与深度学习技术相结合，通过动态集成最新的外部信息来解决大型语言模型（LLM）的静态局限性。这种方法主要侧重于文本领域，为LLM生成看似合理但不正确的响应提供了一种经济高效的解决方案，从而通过使用真实世界的数据来提高其输出的准确性和可靠性。随着RAG复杂性的增加，并引入了可能影响其性能的多个概念，本文将RAG范式分为四类：预检索、检索、后检索和生成，从检索的角度提供了详细的视角。它概述了RAG的演变，并通过分析重要研究讨论了该领域的进展。此外，本文还介绍了RAG的评估方法，解决了面临的挑战，并提出了未来的研究方向。通过提供一个有组织的框架和分类，该研究旨在巩固现有的RAG研究，阐明其技术基础，并强调其扩大LLM适应性和应用的潜力。

1 引言

2 RAG框架

3 预检索

4 检索

5 后检索

6 生成

7 RAG的比较

8 RAG的评估

9 未

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Retrieval-Augmented Generation for Large Language Models: A Survey
weixin_43564920的博客
01-22 2203
09.结论本文的总结如图7所示，突显了RAG在增强LLM能力方面的重大进步，这是通过将语言模型中的参数化知识与外部知识库中广泛的非参数化数据整合实现的。我们的调查展示了RAG技术的演变及其对知识密集型任务的影响。我们的分析勾勒出RAG框架内的三种发展范式：初级RAG、高级RAG、模块化RAG，每一种都比上一种有所进步。高级RAG范式通过纳入复杂的架构元素，如查询重写、块重新排序和提示摘要，超越了初级RAG。这些创新带来了更为细致和模块化的架构，增强了LLM的性能和可解释性。
A Survey on Retrieval-Augmented Text Generation. 2022
Study study is cndb gjb dx.
11-07 300
检索增强文本生成作为一种新的文本生成范式，融合了新兴的深度学习技术和传统的检索技术，在许多NLP任务中取得了最先进的(SOTA)性能，并引起了计算语言学界的关注(Weston等人，2018;与基于生成的模型相比，这种新范式具有显著的优势:1)知识不需要隐式存储在模型参数中，而是以即插即用的方式显式获取，具有很大的可扩展性;2)该范式不是从零开始生成文本，而是从一些检索到的人类书面参考中生成文本，这可能会减轻文本生成的难度。
Retrieval-Augmented Generation for Large Language Models: A Survey论文阅读
qq_35166730的博客
06-11 903
大语言模型常常制造虚假事实，在处理特定领域或高度专业化的查询时缺乏知识。例如，当所需信息超出模型训练数据的范围或需要最新数据时，LLM可能无法提供准确的答案。这一限制在将生成型人工智能部署到现实世界的生产环境中构成挑战，可能不够盲目使用黑盒LLM。神经网络通过微调模型以参数化知识来适应特定领域或专有信息。虽然这种技术取得了显著成果，但它需要大量的计算资源，成本高昂，并需要专业的技术专长，使其适应性较差。参数化知识和非参数化知识发挥着不同的作用。
《Retrieval-Augmented Generation for Large Language Models: A Survey》 AI 解读
悟鸣的技术博客
04-01 2169
论文标题：《Retrieval-Augmented Generation for Large Language Models: A Survey》
LLMs之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-08 3017
​ LLMs之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读 目录 《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读 Abstract 1 Introduction引言 2
10、论文笔记：Retrieval-Augmented Generation for Large Language Models: A Survey（RAG调查）
weixin_44986037的博客
01-07 1443
RAG调研
【检索增强】Retrieval-Augmented Generation for Large Language Models：A Survey
STAR GAME
03-29 2081
LLM检索增强的新范式
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 213
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 337
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 566
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 218
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1795
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 486
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 235
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
【字节跳动 AI 原生 IDE TRAE 】
youngerwang的博客
11-22 698
字节跳动推出的AI原生IDE TRAE是国内首款协作级AI开发工具，采用"交互层-智能层-协议层-生态层"四层架构，支持SOLO智能自主开发模式和多模态交互。核心功能包括：1）SOLO模式支持需求分析、工具调度和全流程自动化开发；2）双模式交互系统兼顾精细控制和快速原型开发；3）多模态交互支持语音、图像和代码片段输入；4）开放的智能体生态系统。TRAE深度融合大模型能力，在前后端开发中展现出高效代码生成和自动化能力，并通过MCP协议实现安全工具调用。产品迭代迅速，216天发布63个版本，
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 51
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
Trustworthiness in Retrieval-Augmented Generation Systems: A Survey
06-25
在检索增强生成（Retrieval-Augmented Generation, RAG）系统中，可信度（trustworthiness）是一个关键的研究领域。RAG通过从外部知识库中检索相关信息并结合生成模型来构建回答，这种方法虽然提升了模型的时效性和准确性，但也引入了新的挑战，尤其是在信息源可靠性、偏见和隐私保护等方面。 ### 1. 可信度评估与信息源质量 在RAG系统中，检索模块通常依赖于外部文档或数据库中的信息，而这些信息的质量直接影响最终生成内容的可信度。研究指出，为了提高系统的整体可信性，需要对信息来源进行严格筛选和评估。例如，一些工作提出了基于多源验证的方法，确保检索到的信息来自多个可靠渠道[^4]。此外，还有研究尝试使用机器学习技术来识别和过滤低质量或虚假信息，从而减少错误传播的风险[^1]。 ### 2. 偏见与公平性问题 另一个影响RAG系统可信度的重要因素是偏见问题。由于训练数据可能存在固有的社会文化偏见，这可能导致生成的内容也带有类似的偏差。为了解决这个问题，研究人员开发了一些工具和技术用于检测和减轻文本生成过程中的偏见，如差分隐私技术和公平性约束优化算法等[^1]。这些方法旨在保证生成结果不仅准确而且公正，以维护用户的信任。 ### 3. 隐私保护机制 随着人们对个人隐私越来越重视，在设计RAG系统时考虑隐私保护变得尤为重要。为此，一些学者探索了如何将差分隐私原理应用于检索和生成过程中，以此保护用户的数据不被泄露[^1]。同时，也有研究关注于匿名化处理以及访问控制策略的设计，确保只有授权人员才能接触到敏感信息。 ### 4. 安全性考量 除了上述方面外，安全性也是衡量RAG系统可信度的一个重要维度。特别是面对恶意攻击时的表现，比如针对开放式争议话题实施的意见操纵攻击，这类行为可能会严重干扰用户的认知判断。因此，加强防御措施、提升对抗样本识别能力成为了当前研究的重点之一[^4]。 ```python # 示例代码：模拟一个简单的RAG系统中关于信息源质量检查的功能 def check_source_quality(sources): """ 检查给定的信息源是否符合预设的质量标准。 参数: sources (list): 包含多个信息源对象的列表 返回: list: 符合条件的有效信息源列表 """ valid_sources = [] for source in sources: if source.is_reliable() and not source.contains_bias(): valid_sources.append(source) return valid_sources class Source: def __init__(self, reliability_score, bias_level): self.reliability_score = reliability_score # 可靠性评分（0-1） self.bias_level = bias_level # 偏见水平（0-1） def is_reliable(self): return self.reliability_score > 0.7 def contains_bias(self): return self.bias_level > 0.3 # 创建几个示例信息源 sources_example = [Source(0.85, 0.2), Source(0.6, 0.4), Source(0.9, 0.1)] valid_sources_example = check_source_quality(sources_example) print("Valid Sources:", valid_sources_example) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值