Context Tuning for Retrieval Augmented Generation

最新推荐文章于 2025-11-25 12:11:01 发布
最新推荐文章于 2025-11-25 12:11:01 发布
阅读量140 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/134987952
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

本文介绍了一种名为上下文调优的方法，旨在改进检索增强生成（RAG）在处理不完整查询时的性能。通过引入轻量级的上下文检索模型，利用数字、分类和习惯用法信号，该方法能更有效地检索和排序上下文信息，从而提高RAG的工具检索和计划生成的准确性。实验证明，上下文调优能显著增强语义搜索，减少幻觉，并且在某些情况下优于基于GPT-4的检索系统。然而，当前工作仍存在局限，如未考虑会话历史，这限制了模型处理复杂任务和话题转变的能力。

本文是LLM系列文章，针对《Context Tuning for Retrieval Augmented Generation》的翻译。

用于检索增强生成的上下文调整

摘要

大型语言模型（LLM）具有通过几个例子解决新任务的非凡能力，但它们需要访问正确的工具。检索增强生成（RAG）通过检索给定任务的相关工具列表来解决这个问题。然而，RAG的工具检索步骤要求所有必需的信息都明确地出现在查询中。这是一个限制，因为广泛采用的工具检索方法语义搜索在查询不完整或缺乏上下文时可能会失败。为了解决这一限制，我们提出了RAG的上下文调整，它使用智能上下文检索系统来获取相关信息，从而改进工具检索和计划生成。我们的轻量级上下文检索模型使用数字、分类和习惯用法信号来检索和排序上下文项目。我们的实证结果表明，上下文调整显著增强了语义搜索，在recall@k分别用于上下文检索和工具检索任务，并使基于LLM的计划器准确性提高11.6%。此外，我们还表明，我们提出的使用LambdaMART的倒数秩融合（RRF）的轻量级模型优于基于GPT-4的检索。此外，我们观察到，即使在工具检索之后，在计划生成时上下文增强也会减少幻觉。

1 引言

2 相关工作

3 方法

4 结果

5 结论

我们的工作引入了上下文调优，这是一种新的组件，通过为其配备基本的上下文搜索功能来解决不完整或指定不足的查询，从而增强基于RAG的规划。通过对应用于轻量级模型和LLM的各种检索方法的系统比较，我们展示了上下文调整在提高上下文理解方面的有效性。我们的经验观察表明，当不应用微调时，CoT增强增强了上下文检索，而微调检索模型则消除了CoT增强的

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

LLM应用架构之检索增强（RAG，retrieval-augmented generation）的缘起与架构介绍
强化学习曾小健
09-21 6358
原创 ullyAI工程化收录于合集#领域技术13个#LLM应用架构3个动手点关注本文是LLM应用架构系列的第一篇，将介绍LLM应用开发里最常见的一种架构模式RAG（ Retrieval Augmented Generation），它被广泛应用于知识问答，智能助手等常见LLM应用场景中。在后续文章中还将介绍该模式落地实际过程中的一些常见问题及改进思路，欢迎关注“AI工程化”，持续为大家更新。
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
热门推荐
女王の专属领地
01-20 1万+
检索增强生成（RetrievalAugmentedGeneration），简称RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
LLMs之RAG：《Inference Scaling for Long-Context Retrieval Augmented Generation长上下文检索增强生成的推理扩展》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-03 1864
​ LLMs之RAG：《Inference Scaling for Long-Context Retrieval Augmented Generation长上下文检索增强生成的推理扩展》翻译与解读 目录 《Inference Scaling for Long-Context Retrieval Augmented Generation》翻译与解读 Abstract 1 Introduction 6、Discussion Conclusion
Retrieval-Augmented Generation for Large Language Models: A Survey
Anooyman的博客
01-07 3586
在大型语言模型时代，RAG的具体定义是指在回答问题或生成文本时，首先从大量文档中检索相关信息的模型。随后，它利用这些检索到的信息来生成响应或文本，从而提高预测的质量。RAG方法允许开发人员避免为每个特定任务重新训练整个大型模型。
Parametric Retrieval Augmented Generation
YxinMiracle's Studio.
06-01 969
本文提出了一种参数化检索增强生成（Parametric RAG）方法，通过文档参数化改进传统RAG系统。该方法在离线阶段将文档转换为参数化表示：首先通过文档重写和QA对生成增强文档内容，然后使用LoRA技术编码为参数形式。在线推理时，系统检索相关文档后将其参数化表示合并到大语言模型中，实现高效的知识注入。该方法克服了传统RAG在知识融合效率上的不足，为外部知识整合提供了新思路。实验部分展示了参数化表示在知识保留和问答效果上的优势。
动态检索增强生成（Dynamic Retrieval-Augmented Generation，Dynamic RAG）
skye1210的博客
08-23 951
这种“引入工具+特殊token触发+动态刷新记忆”的方法，本质是让大模型从“闭卷考试”（仅依赖内部记忆）变为“开卷考试”（可查阅外部资料）。它不依赖修改模型的底层结构，而是通过“模型-工具协同”的方式，在保持生成能力的同时，用“实时、准确的外部知识”替代“模糊、可能错误的内部记忆”，从而从源头减轻幻觉。目前，这种方法已被OpenAI的Function Calling、Anthropic的Claude 3等模型广泛采用，是平衡“生成灵活性”与“输出准确性”的重要技术路径。
Chain-of-Retrieval Augmented Generation-(CoRAG，链式检索增强生成)论文解读
weixin_38252409的博客
05-09 1361
本文提出了一种名为CoRAG（链式检索增强生成）的训练方法，用于提升RAG模型在复杂查询任务中的表现。与传统RAG仅进行单次检索不同，CoRAG通过动态调整查询并逐步检索推理，实现信息的迭代获取。为训练该模型，研究者采用拒绝采样技术自动生成中间检索链条，以扩展现有数据集。实验表明，CoRAG在多跳问答任务中显著优于基线模型，EM分数提升超10分，并在KILT基准中多个知识密集型任务上达到新的SOTA性能。
【论文阅读】Searching for Best Practices in Retrieval-Augmented Generation
qq_41502855的博客
08-05 2316
这篇论文对RAG的整个workflow以及各个模块进行了非常详细的讨论，甚至对各个模块的方法都做了实验对比，从而来找到RAG的最佳实践。整个阅读下来获益良多，对RAG的很多有了更系统性的认识，同时感慨下RAG的技术栈还是很广的，每个环节都有可以深入学习的地方。总的来说，文章有3个核心贡献点：1、探索了RAG各个组件的最佳配置2、提出RAG评估框架和评估数据集3、提出“retrieval as generation”, 提升图文问答能力，最后这点是一个比较novel的观点。
Retrieval-augmented Generation(RAG)
m0_72572822的博客
09-17 1548
RAG
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 253
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 473
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
最新发布
2501_92808811的博客
11-25 296
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 447
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 465
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1951
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 505
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 315
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 100
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
宇树G1-D：人形机器人下一步方向！
Charlie_Mo的博客
11-21 1082
宇树科技推出G1-D人形机器人工作站全栈解决方案，实现从硬件平台向"硬件+数据+AI"生态平台升级。该方案以G1-D为核心载体，为AI模型开发提供强力支撑，可应用于制造业等场景，提升生产精度和效率。在AI技术快速发展的背景下，掌握基于G1-D的AI开发技能将增强就业竞争力。这一创新方案为行业搭建AI训练基础设施，推动技术进步，展现未来发展潜力。
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
01-13
### Retrieval-Augmented Generation in Knowledge-Intensive NLP Tasks Implementation and Best Practices The method of retrieval-augmented generation (RAG) for knowledge-intensive natural language processing tasks aims to combine the strengths of dense vector representations with sparse exact match methods, thereby improving model performance on tasks that require access to external information not present during training[^1]. This approach ensures models can retrieve relevant documents or passages from a large corpus at inference time and generate responses conditioned on this retrieved context. #### Key Components of RAG Framework A typical implementation involves two main components: 1. **Retriever**: A component responsible for fetching potentially useful pieces of text based on input queries. 2. **Generator**: An encoder-decoder architecture like BART or T5 which generates outputs given both the query and retrieved contexts as inputs. This dual-stage process allows systems to leverage vast amounts of unstructured data without needing explicit retraining when new facts become available. #### Practical Steps for Implementing RAG Models To effectively implement such an architecture, one should consider several factors including but not limited to choosing appropriate pre-trained retrievers and generators fine-tuned specifically towards question answering or similar objectives where factual accuracy is paramount. Additionally, integrating these modules into existing pipelines requires careful consideration regarding latency constraints versus quality trade-offs especially under real-time applications scenarios. For instance, here's how you might set up a simple pipeline using Hugging Face Transformers library: ```python from transformers import RagTokenizer, RagTokenForGeneration tokenizer = RagTokenizer.from_pretrained("facebook/rag-token-nq") model = RagTokenForGeneration.from_pretrained("facebook/rag-token-nq") def rag_pipeline(question): inputs = tokenizer([question], return_tensors="pt", truncation=True) generated_ids = model.generate(input_ids=inputs["input_ids"]) output = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0] return output ``` In practice, tuning hyperparameters associated with each stage separately could lead to better overall results compared to treating them monolithically due to their distinct roles within the system design. #### Best Practices When Working With RAG Systems When deploying RAG-based solutions, adhering to certain guidelines helps maximize effectiveness while minimizing potential pitfalls: - Ensure high-quality indexing over document collections used by the retriever part since poor recall directly impacts downstream generations negatively. - Regularly update underlying corpora so they remain current; stale resources may propagate outdated information through synthetic texts produced thereafter. - Monitor closely any changes made either upstream (e.g., modifications affecting source material accessibility) or inside your own infrastructure because alterations elsewhere often necessitate corresponding adjustments locally too. By following these recommendations alongside leveraging state-of-the-art techniques provided via frameworks like those mentioned earlier, developers stand well positioned to build robust conversational agents capable of delivering accurate answers across diverse domains requiring specialized domain expertise beyond what general-purpose pretrained models alone offer today. --related questions-- 1. How does multi-task learning compare against single-task approaches concerning adaptability? 2. What are some challenges faced when implementing keyword-based point cloud completion algorithms? 3. Can prompt engineering significantly influence outcomes in few-shot learning settings? 4. Are there specific industries benefiting most prominently from advancements in knowledge-intensive NLP technologies?
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值