An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks

最新推荐文章于 2025-11-25 00:15:54 发布
最新推荐文章于 2025-11-25 00:15:54 发布
阅读量912 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Knowledge Graph 文章标签： transformer 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/132664418
Knowledge Graph 同时被 2 个专栏收录
85 篇文章 ¥99.90 ¥299.90
订阅专栏
LLM 日更
828 篇文章

已下架不支持订阅

本文提出高效内存增强Transformer（EMAT），结合参数模型和检索增强模型的优势，用于知识密集型任务。EMAT将外部知识编码为键值内存，通过快速查询提高性能。在问答和对话数据集上的实验显示，EMAT在提高准确性的同时保持高吞吐量，优于检索增强模型。

本文是LLM系列文章，针对《An Efficient Memory-Augmented Transformer for
Knowledge

一种用于知识密集型NLP任务的高效内存增强转换器

摘要

获取外部知识对于许多自然语言处理任务至关重要，例如问答和对话。现有的方法通常依赖于将知识存储在其参数中的参数模型，或者使用可以访问外部知识源的检索增强模型。参数模型和检索增强模型在计算效率和预测准确性方面具有互补优势。为了结合这两种方法的优势，我们提出了高效内存增强Transformer（EMAT）——它将外部知识编码为键值内存，并利用快速最大内积搜索进行内存查询。我们还引入了预训练任务，允许EMAT对信息性键值表示进行编码，并学习将多个内存槽集成到Transformer中的隐式策略。在各种知识密集型任务（如问答和对话数据集）上的实验表明，使用我们的方法简单地扩充参数模型（T5基础）会产生更准确的结果（例如，25.8→ NQ上的44.3 EM）同时保持高吞吐量（例如NQ上1000个查询/s）。与检索的改进模型相比，EMAT在WoW和ELI5上运行得更快，结果更准确。

1 引言

2 相关工作

3 高效内存增强Transformer

4 EMAT的训练流程

5 实验

6 分析

7 结论

在这项工作中，我们提出了一种有效的内存改进Transformer（EMAT），它结合了参数模型和检索改进模型的优点。它将外部知识编码到键值存储器中，并利用快速MIPS搜索进行存储器查询。我

了解本专栏 订阅专栏 解锁全文
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
11-11 711
大型预训练语言模型已经被证明可以在其参数中存储事实性知识，并在下游自然语言处理（NLP）任务中通过微调取得了最先进的效果。然而，它们访问和精准操控知识的能力仍然有限，因此在知识密集型任务上，它们的表现往往落后于专门为任务设计的架构。此外，这些模型在决策时提供知识来源以及更新其世界知识仍是待解决的研究问题。通过引入与非参数化显式记忆相连的可微访问机制，预训练模型有望克服此问题，但迄今为止这仅在提取型下游任务中得到了研究。
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks - 翻译学习
m0_52695557的博客
11-11 2337
大型预训练语言模型已被证明可以在其参数中存储事实知识，并在对下游NLP任务进行微调时获得最先进的结果。然而，他们访问和精确操作知识的能力仍然有限，因此在知识密集型任务中，他们的性能落后于特定任务的体系结构。此外，为他们的决定提供出处和更新他们的世界知识仍然是悬而未决的研究问题。具有对显式非参数记忆的可微访问机制的预训练模型可以克服这个问题，但迄今为止只针对提取下游任务进行了研究。微调方法——该模型结合了预先训练的参数和非参数记忆，用于语言生成。
论文：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
qq_40212975的博客
10-16 3545
论文：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks code:https://github.com/huggingface/transformers
[论文精读]Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
m0_52911108的博客
09-15 5109
这篇论文介绍了RAG的核心概念，提出了一种结合检索与生成的框架，用于知识密集型任务。该方法首先从外部知识库中检索相关文档，然后利用这些文档指导生成模型生成答案。论文还评估了RAG在开放域问答（Open-Domain QA）任务中的性能。核心思想介绍：对于输入序列x，使用x来检索文档z中的知识，并使用检索出来的结果作为生成目标y的额外参考。RAG的核心是由检索器（Retriever）和生成器（Generator）组成。前者用于从知识库中检索和查询相关的文档信息；后者则基于前者检索到的信息来生成对应的答案。
[文献阅读] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (用于知识密集型NLP任务的RAG)
weixin_53834244的博客
12-13 1355
在本文中，提出了可以访问参数和非参数内存的混合生成模型。我们展示了我们的RAG模型在开放领域QA上获得了最先进的结果。我们发现人们更喜欢RAG的生成而不是纯粹参数化的BART，发现RAG更真实和具体。参考文献。
【RAG 论文】RAG 模型的初代产品：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
VLyb
04-17 2600
一个早期的 RAG 模型架构，实现了使用检索文档来增强语言模型的生成
RAG:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 论文阅读
ZhenL9911的博客
06-26 2345
很多参数知识存储在LLMs中的参数中（LAMA这篇文章证明），针对下游任务微调之后可以取得SOTA效果。但是这种方式具有一定的劣势：在Open-QA任务上，仍然还很欠缺，（语言模型还不能很好的获取精确知识）、给出的答案不具有可解释性，对于知识库无法实现实时更新的效果，不便于更新。论文提出RAG：参数化知识（BART预训练学到的知识） ＋ 非参数化知识（维基百科的密集向量索引）结合的方式来解决这三类问题。开放域问答。
RAG论文阅读笔记（一）（Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks）
qq_19821073的博客
05-14 770
本篇阅读首次提出RAG的概念的论文：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks。介绍了提出的主要的RAG-Sequence模型和RAG-Token模型。
大模型相关论文笔记
靖待的优快云博客
02-21 2064
2024年1月更新。
Retrieval-Augmented Generation for Large Language Models A Survey
weixin_52185313的博客
06-23 2115
大型语言模型（LLMs）展示了令人印象深刻的能力，但也面临着如幻觉【2】、知识陈旧以及推理过程不透明和不可追踪等挑战。检索增强生成（RAG）通过从外部数据库中引入知识，成为一种有前途的解决方案。这样可以提高生成的准确性和可信度，特别是对知识密集型任务而言，并允许持续的知识更新和特定领域信息的集成。RAG协同融合了LLMs的内在知识和外部数据库的庞大、动态存储库。这篇全面的综述论文详细审查了RAG范式的发展，包括原始RAG、先进RAG和模块化RAG。它细致地审视了RAG框架的三部分基础：检索、生成和增强技术。
走向通用智能的大语言模型：具身、符号落地、因果与记忆的统一认知视角
nmdbbzcl的博客
11-23 1025
如果真要靠大语言模型（LLM）走向人工通用智能（AGI），缺的到底是什么？arXiv作者的态度很明确：今天的多模态大模型已经很强，但“聪明得很表面”，距离真正的“通用智能”还差一大截。
PaLM：Pathways 驱动的大规模语言模型 scaling 实践
m0_65010824的博客
11-24 673
本文是对论文《PaLM: Scaling Language Modeling with Pathways》的深度解读。在大模型研究领域，如何实现高效规模化训练并解锁复杂任务能力，是核心挑战。Google Research 团队提出的 PaLM 模型，以 5400 亿参数稠密 Transformer 为基础，借助 Pathways 系统实现跨 TPU Pod 高效训练，在少样本推理、代码生成等任务中刷新 SOTA，为大模型规模化研究提供关键参考。
InstructBLIP：面向通用视觉语言模型的指令微调技术解析
m0_65010824的博客
11-24 766
本文是对论文《InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning》的深度解读。在多模态领域，如何构建具备通用指令遵循能力的视觉语言模型，是亟待解决的关键挑战。Salesforce Research 等团队提出 InstructBLIP 框架，通过指令感知 Q-Former 与平衡数据集采样策略，实现了多样化视觉语言任务的高效泛化，显著提升零样本与下游微调性能，为通用多模态模型研发提供范式。
论文浅尝 | 利用条件语句激发和提升大语言模型的因果推理能力（CL2025）
开放知识图谱
11-24 294
这些发现表明，代码，特别是代码中的条件语句，通过提示和微调在引发和提高语言模型的因果推理能力方面可以发挥重要作用。证明，在执行复杂因果推理任务时，代码语言模型优于相同结构的通用语言模型。的训练数据观察到最大的性能提升，这表明仅用少量（少于一千条）条件语句代码，模型的因果推理能力就能大幅提高。代码语言模型在大多数设置下仍然优于相应的通用语言模型，并且对于大多数模型来说，代码提示优于文本提示。代码大语言模型比通用大语言模型更擅长因果推理，并且对于大多数模型来说，代码提示比文本提示更有效。
Fast Distributed Inference Serving for Large Language Models
nihaoakekeke的博客
11-21 832
大规模语言模型（LLMs）驱动了以ChatGPT为代表的新一代交互式AI应用。这类应用的交互特性要求LLM推理具备低延迟特性。现有LLM服务系统对推理任务采用运行至完成的处理模式，存在队头阻塞问题且导致延迟较高。本文提出FastServe——一个面向LLMs的分布式推理服务系统。该系统利用LLM推理的自回归特性，实现了以单个输出令牌为粒度的抢占机制。通过采用具备跳过连接功能的多级反馈队列调度器，FastServe运用抢占式调度策略有效降低延迟。
国内主流大语言模型之比较
最新发布
人机与认知实验室
11-25 470
的系统性对比分析，涵盖其核心技术特点、性能表现、应用场景、生态布局及战略定位等方面的异同。阿里千问胜在生态与开源，蚂蚁灵光赢在场景与行动力，百度文心强在中文内容，智谱清言优在知识严谨，DeepSeek专精于代码与垂直领域。智谱强调“可解释性”，幻觉较少。将深化“AI Agent”战略，从“聊天助手”转向“行动代理”，成为支付宝的智能入口。若能在MoE（混合专家）架构和垂直领域（如金融、法律）持续深耕，或成“小而美”的标杆。需解决幻觉问题，并在多模态（如视频生成）上突破，以应对字节、腾讯的竞争。
NLP基础(九)_N-gram模型
weixin_48870215的博客
11-22 498
NLP基础(九)_N-gram模型
MySQL自然语言处理应用
2509_93942886的博客
11-22 331
总的来说，虽然MySQL不是专业的自然语言处理工具，但它提供的文本处理功能已经能够解决很多实际业务中的文本分析需求。对于大多数中小型项目来说，充分利用数据库层的文本处理能力，往往能在保证功能实现的同时获得更好的性能表现。最近在优化某个电商平台的订单系统时，我就遇到了这样的需求：要从用户填写的非结构化地址信息中自动提取区县级地名。在实践中我发现几个值得注意的地方：首先，MySQL的文本处理功能虽然方便，但不适合处理海量文本数据，那种情况还是应该用专门的文本搜索引擎。字符串处理：基础中的基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值