自然语言处理:第四十二章 RAG与LLM原先知识冲突时，大模型会如何处理？

最新推荐文章于 2025-11-30 20:55:57 发布
原创 最新推荐文章于 2025-11-30 20:55:57 发布 · 1.2k 阅读 · 27 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #人工智能 #nlp #机器学习 #word2vec

文章链接:7B？13B？175B？解读大模型的参数 (qq.com)



写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

摘要

《ClashEval》这篇论文由斯坦福大学的研究者Kevin Wu、Eric Wu和James Zou撰写，研究关注的是在使用检索增强生成（RAG）技术的大规模语言模型（LLM）中，如何处理外部检索到的信息。RAG旨在减少幻觉并为模型提供最新知识，但当检索到的内容存在错误或有害信息时，模型如何应对这一问题？

研究者创建了一个包含1200多个问题的数据集，覆盖了六个不同领域，如药物剂量、奥运记录和地理位置，以及与每个问题相关的内容。并针对每个问题的答案进行了不同程度的错误注入。通过对六个顶级LLMs的基准测试，发现这些模型在面对错误检索内容时，有超过60%的概率会忽略自身正确的先验知识，采纳错误的检索召回的信息(这个错误的召回信息语句上不存在语法逻辑)。研究还发现，检索内容与真实情况偏离程度越大，模型采纳错误信息的可能性越小。此外，模型对其初始回答的置信度越低，采纳检索内容的可能性越大。文章还提出了基于令牌概率的简单方法来提高模型在冲突检索内容中的准确性，并将数据集和评估开源。



背景

随着RAG系统的广泛应用，模型在回答问题时不仅依赖于其训练数据，还会参考从网络或其他来源检索到的信息。然而，如果这些信息是错误的，模型应该能够识别并忽略它们，而不是盲目地重复错误。反之，当模型的初始响应不正确时，它应该能够利用正确的外

最低0.47元/天 解锁文章
RAG与LLM本身知识存在冲突时，大模型如何抉择？
wwlsm_zql的博客
04-21 2234
本研究深入分析了检索增强生成（RAG）模型的忠实度，即模型在处理与内部知识不一致的检索信息时的表现。研究发现，当检索内容正确时，RAG能显著提高模型回答的准确性。然而，当检索内容与模型内部知识冲突时，模型的行为受内部先验知识影响，对初始回答的置信度越高，越不可能偏好RAG信息。此外，研究还发现不同的提示技术对模型的RAG偏好率有显著影响，严格提示会提高RAG偏好率，宽松提示则会降低。这些发现对于理解和改进RAG系统，以及指导未来RAG系统的设计和优化具有重要意义。
内部先验知识与RAG冲突了怎么办？对LLM如何平衡内外部知识的一些思考
qingkahui24689的博客
10-01 1694
前段时间在华为诺亚完成了一篇有关 Adaptive RAG 的工作，现在在做对齐架空世界知识与现实世界知识，尤其是智能游戏 NPC 的工作。分享一下有关对 LLM 如何平衡内外部知识的一些思考以及我们在这方面做出的几个探索性、分析性和总结性工作。
深度解析RAG大模型知识冲突，清华西湖大学港中文联合发布
zenRRan的博客
07-11 569
来自：机器之心本文章的作者为清华大学交叉信息院二年级硕士生许融武和一年级博士生祁泽涵，他们也是本篇综述的的主要作者。随着人工智能和大型模型技术的迅猛发展，检索增强生成（Retrieval-Augmented Generation, RAG）已成为大型语言模型生成文本的一种主要范式。这种技术的代表 —— 检索增强的大型语言模型（Retrieval-Augmented Large Language M...
12个RAG常见痛点及解决方案
deephub
02-03 5503
我们探讨了在开发RAG管道过程中的12个痛点(其中7个来自论文，另外5个来自我们的总结)，并针对这些痛点提出了相应的解决方案。下面是本文的引用参考作者:Wenqi Glantz。
【动手学大模型开发 21】如何评估 LLM 应用
一个程序猿的AI转型之路
05-10 760
因此，我们需要采用自动评估的方法，自动评估系统对每一个验证案例的输出质量，从而评估系统的整体性能。但是，我们可以看到，越全面、具体的评估，其评估难度、评估成本就越大。但当我们的系统不断改进迭代，验证集会迅速扩大，一般来说，一个成熟的系统验证集应该至少在几百的体量，迭代改进版本至少有数十个，那么我们评估的总次数会达到上万次，带来的人力成本与时间成本就很高了。但是，在牺牲一定评估准确性的情况下，我们可以将复杂的没有标准答案的主观题进行转化，从而变成有标准答案的问题，进而通过简单的自动评估来实现。
AI Agent入门到精通：大模型智能代理架构设计与优化，建议永久收藏！
m0_48891301的博客
08-31 671
AI Agent入门到精通：大模型智能代理架构设计与优化，建议永久收藏！
Dify 技术文档工程实践：如何构建面向 AI 时代的知识系统？
Trb701012的博客
08-01 858
如果文档是产品的一部分，你希望获得怎样的阅读体验？文档又应该以何种姿态面向新读者——即无所不在的 LLM？
大模型及智能体安全前沿研究综述
2401_85343303的博客
04-20 2947
深夜无法入眠，就爬起来看了几个小时论文，又想写一些什么，于是就爆肝上万字，有了下面的一个大模型及智能体安全最新研究综述1. 模型对齐与安全训练模型对齐（Alignment）是指通过附加训练让大模型的行为符合预期的安全和伦理规范，例如拒绝不当请求、不输出有害内容等。最新的多篇论文均聚焦于如何改进和评估大模型的对齐效果，以及对齐过程可能带来的副作用。1.1 安全对齐的深度与代价：Kao等人在2025年2月发表的论文从马尔可夫链理论视角分析了对齐深度对模型安全性的影响。
看完这篇，我太爷都要学习大模型了
2401_85773741的博客
11-08 787
人类自身是一个相当脆弱的物种，跑不过马，打不过熊，嗅觉不如狗，视力不如鹰，我们在生理意义上的缺陷如此明显，能够在众多高等动物中脱颖而出的，就是基于语言文字对知识的记载与传承，以及对工具的使用。大模型很强大，但它依然是一个工具。王语嫣即便熟知所有武学，但还是不会武功，要亲身和这个世界战斗，在这个世界行走的还是人类。而工具无法取代人，只有会用工具的人，取代不会工具的人。大模型卷生卷死，但无法落地都是空中楼阁。
【自然语言处理】基于大模型的智能问答系统设计：企业新员工培养场景下的RAG技术应用与优化
10-21
详细阐述了基础模型、行业模型与场景模型的层级关系，并深入讲解了自然语言处理技术、Transformer架构、大语言模型关键技术（如注意力机制、上下文学习、思维链）、高效微调方法（如LoRA、Adapter）以及RAG（检索...
《AI大模型应用》--大语言模型 (LLM) 的自然语言数据库查询系统 (RAG) 通过自然语言提问.zip
07-19
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
【自然语言处理】基于Transformer的LLaMA2大模型构建：从零开始的手动实现与高效微调技术详解
11-03
通过系统讲解从零构建LLaMA2大语言模型的全过程，深入剖析自然语言处理（NLP）基础、Transformer架构、预训练模型原理，并结合Happy-LLM开源项目，带领读者动手实现Tokenizer训练、模型架构搭建、高效微调（如LoRA/...
人工智能基于GPT大语言模型的智能产品设计：自然语言驱动的多模态应用与RAG架构实现
08-29
核心在于通过自然语言交互，将通用认知与生成能力融入产品，实现智能交互、内容生成、知识管理、流程自动化等深度应用。文中重点介绍了Prompt工程、RAG架构、Agent模式等关键技术，并分析了准确性、成本、安全等挑战...
时间序列的“语言”：从语言模型视角理解时序基础模型
u010681011的专栏
11-30 525
摘要： 本文提出“时间的语言”假说，将时间序列基础模型类比为语言模型，认为时间序列patch（短片段）类似于语言中的token，但在潜在空间中表现为分布而非单点。通过构建时间序列“词汇表”并分析其统计特性，研究发现时间序列token遵循Zipf定律，且其组合呈现稀疏语法结构，验证了时间序列数据的类语言特征。这一发现为跨域时序模型的迁移能力提供了理论支持，表明模型通过学习“时间的语言”实现对动态模式的抽象表示。
知识图谱 (Neo4j)、大语言模型与 RAG 技术全景解析
m0_73161433的博客
11-30 557
大语言模型是参数规模达数十亿至数万亿的深度学习模型，基于 Transformer 架构，通过海量文本预训练获得理解和生成自然语言的能力。关键里程碑2017 年：Transformer 架构问世，解决 RNN 无法并行计算和捕捉长距离依赖的问题2018 年：GPT-1 (1.17 亿参数) 验证 "预训练 + 微调" 范式2020 年：GPT-3 (1750 亿参数) 展现 "零样本学习" 能力2022 年：ChatGPT 引入 RLHF (人类反馈强化学习)，大幅提升对话质量。
Transformer架构变体全景图：从BERT到GPT的演化路径
11-30 850
Transformer架构从原始编码器-解码器结构演化出三大技术路线：仅编码器架构（如BERT）、仅解码器架构（如GPT）和编码器-解码器架构（如T5）。BERT系列通过掩码语言建模实现双向理解，GPT系列采用因果自注意力进行自回归生成，T5则统一任务为文本到文本格式。这些变体在自注意力机制、位置编码等核心组件基础上，针对不同任务需求进行优化，形成了自然语言处理领域的多元技术生态。
AI核心知识22——大语言模型之重要参数Top-P（简洁且通俗易懂版）
2302_79444404的博客
11-29 660
Top-P和Temperature是控制AI生成随机性的两大关键参数。Top-P通过限定高概率候选词范围（如设0.9时排除概率最低的10%词汇），而Temperature则调整概率分布形状使输出更保守或大胆。专家建议二者择一使用：新手优先调节Temperature（0-1.2），进阶者可先用Top-P=0.9过滤荒谬选项，再调Temperature控制风格。典型组合如代码生成用低温（0.2）+低Top-P（0.3），创意写作则用中高温（0.8）+高Top-P（0.9）。
AI论文整理：Flamingo: a Visual Language Model for Few-Shot Learning
极客BIM工作室
11-28 707
Flamingo是DeepMind提出的视觉语言模型（VLM）家族，核心目标是实现少样本学习（仅需少量标注示例快速适配新任务）。其通过三大架构创新：一是用连接预训练视觉编码器（冻结NFNet-F6）与语言模型（冻结Chinchilla系列），处理可变尺寸视觉特征并输出固定视觉 tokens；二是在冻结语言模型层间插入GATED XATTN-DENSE层，实现视觉信息对语言生成的条件约束且避免训练不稳定；三是通过单图像交叉注意力掩码支持任意 interleaved（交织）的图文/视频文本输入。
GKD：语言模型的策略内蒸馏：从自身生成的错误中学习
最新发布
11-30 58
首先在抽象摘要任务中评估GKD，即生成能够抓取输入文档核心内容的摘要。我们使用XSum数据集（Narayan等，2018），包含新闻文章及其人工撰写的摘要。参考PaLM（Chowdhery等，2022），在XSum验证集上使用ROUGE-2分数（Lin, 2004）评价预测摘要的质量，同时观察到ROUGE-L和ROUGE-1的趋势一致。学生模型为在XSum上经过监督微调的T5系列，教师模型为微调后的T5-XL。更多实验细节见附录A.3。与基线方法的比较。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曼城周杰伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值