In-Context Retrieval-Augmented Language Models

已于 2023-08-30 17:52:16 修改
阅读量2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Knowledge Graph 文章标签： 人工智能 语言模型
于 2023-08-30 17:52:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/132586990
Knowledge Graph 同时被 2 个专栏收录
85 篇文章 ¥99.90 ¥299.90
订阅专栏
LLM 日更
828 篇文章

已下架不支持订阅

本文提出了一种名为上下文RALM的方法，它在不改变语言模型架构的情况下，通过结合现成检索器提供的相关文档来提升语言建模性能。这种方法在不同规模的模型和语料库中展现出显著的优势，并且探讨了针对LM的文档检索和排序优化策略，为开放域问答等任务提供改进。上下文RALM降低了对昂贵微调的依赖，为预训练LM的知识注入开辟了新途径。

本文是LLM系列文章，针对《In-Context Retrieval-Augmented Language Models》的翻译。

上下文检索增强语言模型

摘要

检索增强语言建模（RALM）方法在生成过程中对基础语料库中的相关文档设置语言模型（LM），可以显著提高语言建模性能。此外，它们可以缓解事实上不准确的文本生成问题，并提供自然的来源归因机制。现有的RALM方法侧重于修改LM体系结构，以促进外部信息的合并，从而使部署显著复杂化。本文考虑了一个简单的替代方案，我们称之为上下文RALM：保持LM架构不变，并为输入准备基础文档，而不需要对LM进行任何进一步的训练。我们发现，建立在现成的通用检索器上的上下文RALM在模型大小和不同的语料库中提供了惊人的大LM增益。我们还证明了文档检索和排序机制可以专门用于RALM设置，以进一步提高性能。我们得出的结论是，In-Context RALM在增加LM基准的流行率方面具有相当大的潜力，特别是在必须在不修改甚至通过API访问的情况下使用预训练的LM的情况下。

1 引言

2 相关工作

3 我们的框架

4 实验细节

5 具有现成检索器的上下文RALM的有效性

6 用面向LM的重新排序改进上下文RALM

7 用于开放域问答的上下文RALM

8 讨论

从外部来源检索已成为知识密集型任务中的一种常见做法（如事实问答、事实核查等）。与此同时，LM生成

了解本专栏 订阅专栏 解锁全文
RAVEN: In-Context Learning with Retrieval Augmented Encoder-Decoder Language Models
c_cpp_csharp的专栏
08-22 334
在本文中，我们研究了检索增强的编码器-解码器语言模型的上下文学习能力。我们首先对最先进的ATLAS模型进行了全面分析，并确定了其在上下文学习中的局限性，主要是由于预训练和测试之间的不匹配，以及上下文长度的限制。为了解决这些问题，我们提出了RAVEN，这是一个结合了检索增强屏蔽语言建模和前缀语言建模的模型。我们进一步引入了上下文学习中的融合，通过使模型能够在不需要额外训练或模型修改的情况下利用更多的上下文示例来增强小样本性能。
大模型(LLM) + 上下文检索增强
强化学习曾小健
08-15 950
本次分享了一种检索增强+大模型的融合解码策略，该方法简单有效；当然也存在缺陷，就是提高了推理成本；另外检索只用了生成序列的信息，并没有利用上原始query的信息，二者融合，可能也是一个提升思路。
Augmented Language Models（增强语言模型）
nakaizura
05-25 3050
LLMs取得的巨大进展不再多说，它目前被诟病最多的问题是其会提供非事实但看似可信答案，即幻觉。这些问题可能源于LLMs的一个基本缺陷：它们基于统计语言建模，即 (i)一个单一的参数模型和（ii）一个有限的上下文。但事实上，LLMs擅长于通用的语言理解与推理，而不是某个具体的知识点。
REALM: Retrieval-Augmented Language Model Pre Training 解读
远皓的博客
04-15 1288
知识就是力量 培根 背景 去年可以说是语言模型快速发展的一年，BERT、XLNET、Albert等等模型不断刷新各个NLP榜单。在NLP榜单中比较引人注目的应该属于阅读理解型的任务，例如SQuAD等等。以SQuAD为例，模型需要阅读一段给定的文本，然后回答几个问题，问题如果存在答案，答案一定可以在文章中找到。所以说虽然叫阅读理解，但其实和序列标注有点相像，是在给定序列中标出答案段。...
in-context-ralm：增强型语言模型的实时检索应用
gitblog_00843的博客
04-09 983
in-context-ralm：增强型语言模型的实时检索应用 项目介绍 在当今的自然语言处理领域，实时检索增强型语言模型正在成为研究的热点。in-context-ralm 项目提供了一种高效的方法，通过结合上下文检索和语言模型，提升了模型在处理自然语言任务时的表现。该项目基于 AI21 Labs 的最新研究，旨在实现实时检索与语言模型的无缝融合。 项目技术分析 in-context-ralm 项目...
论文翻译 | RARE: Retrieval-Augmented Reasoning Enhancement for Large Language Models
m0_49651195的博客
12-09 1553
受rStar（Qi等人，2024年）的生成器-判别器结构的启发，RARE引入了一个检索增强生成器和事实性评分器，以提升大型语言模型中的推理准确性和事实完整性。如图1所示，RARE在两个主要阶段进行操作。候选生成与检索增强生成器：检索增强生成器基于MCTS的rStar自生成器构建，整合了两种新的检索增强动作，这些动作动态地获取相关的外部信息。这些动作通过将上下文丰富知识整合到中间推理步骤中，提高了候选推理路径的相关性和准确性，特别是对于复杂问题。
【论文阅读】REPLUG: Retrieval-Augmented Black-Box Language Models
qq_52852138的博客
05-19 3510
【论文阅读】REPLUG: Retrieval-Augmented Black-Box Language Models
大模型学习范式之语境学习(In-context learning)
star_nwe的博客
09-02 9671
In-Context Learning 是一种高效的技术，通过在模型推理时提供上下文信息，能够灵活地适应不同的任务和应用场景。它不需要对模型进行实际的参数更新，而是利用模型的预训练知识和上下文理解能力来生成或调整输出。这种方法具有很强的灵活性和应用广泛性，但也面临着上下文长度限制和输出一致性等挑战。
外挂知识库的论文总结（后续还会更新）
qq_45689158的博客
05-15 790
提出了RAG在知识密集型的nlp任务。
RAG遇见LLMs：走向检索增强型大语言模型 A Survey on RAG Meets LLMs: Towards Retrieval-Augmented Large Language Models
数智笔记
05-14 601
作为人工智能中最先进的技术之一，检索增强生成（RAG）技术可以提供可靠且最新的外部知识，为众多任务提供了巨大便利。特别是在人工智能生成内容（AIGC）时代，RAG中检索的强大能力在提供额外知识方面使得检索增强生成能够辅助现有生成型人工智能产生高质量输出。最近，大型语言模型（LLMs）展示了在语言理解和生成方面的革命性能力，但仍面临固有限制，如幻觉和过时的内部知识。
百度最新RAG综述：当RAG遇见LLM，面向检索增强的大语言模型
程序员鑫港的博客
06-15 1323
检索增强生成（Retrieval-augmented generation，简称 RAG）是一种前沿的人工智能技术，在多个应用领域中取得了显著成功。本文从架构、训练策略和应用的角度，全面回顾了 RA-LLMs，为研究人员提供了深入的理解。此外，由于 RA-LLMs 的研究仍处于早期阶段，本文还讨论了当前的局限性和未来研究的几个潜在方向。那么，我们该如何学习大模型？作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。至于能学习到多少就看你的学习毅力和能力了。
REALM: Retrieval-Augmented Language Model Pre-Training（2020-2-10）
weixin_49346755的博客
10-13 1340
预训练语言模型能够捕捉非常多的知识，对于NLP任务特别是QA任务来说非常重要。然而，知识被隐式的存储在神经网络的参数中，需要更大的网络来覆盖更多的因素。为了以一个模块化或者可翻译的方式来捕捉知识，使用了一个延迟知识检索的预训练增强语言模型在预训练、微调以及推断期间允许模型在大的语料库中（比如Wikipedia）检索文档。首先，先展示如何以无监督方式训练一个知识检索器，使用掩码语言模型（MLM）来作为学习信号，然后通过有几百万文档的训练步骤进行后向传播。
从0到精通，读懂这一篇就够了，RAG：检索增强的前世今生
人工智能讲师分享前沿技术
09-26 1526
Moritz Wallawitsch，RemNote（一款利用人类记忆曲线等神经科学规律帮助学生学习知识的app）联创（General Catalyst支持），ZFellow（创业辅导），Prod.so（面向哈佛、MIT等名校学生的创业孵化器）合伙人，Emergent Ventures风投基金合伙人。
LLM下的讨论230611
Hekena的博客
06-11 129
3.1 Retrieval augmented in-context learningGPTs完成了NLP范式的更新迭代：从传统的有监督学习（Supervised Learning）转变为语境学习（In-context Learning）有监督学习语境学习针对一个细分领域内的数据，从零开始训练模型；可以看出LLM的研究进一步带出了语境学习、Prompt工程，也进一步完成了NLP范式的更新迭代。那么，LLMs是否真的可以替代NLP现有的研究呢，视频从5个维度给我们分析了现有LLM解决方案的优、劣势。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 227
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 390
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
最新发布
2501_92808811的博客
11-25 282
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 400
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
Retrieval-Augmented Generation
12-31
### Retrieval-Augmented Generation (RAG) in NLP #### Definition of RAG Retrieval-Augmented Generation combines the strengths of retrieval-based models with generative models to improve conversational...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值