An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks

本文是LLM系列文章，针对《An Efficient Memory-Augmented Transformer for
Knowledge

摘要

获取外部知识对于许多自然语言处理任务至关重要，例如问答和对话。现有的方法通常依赖于将知识存储在其参数中的参数模型，或者使用可以访问外部知识源的检索增强模型。参数模型和检索增强模型在计算效率和预测准确性方面具有互补优势。为了结合这两种方法的优势，我们提出了高效内存增强Transformer（EMAT）——它将外部知识编码为键值内存，并利用快速最大内积搜索进行内存查询。我们还引入了预训练任务，允许EMAT对信息性键值表示进行编码，并学习将多个内存槽集成到Transformer中的隐式策略。在各种知识密集型任务（如问答和对话数据集）上的实验表明，使用我们的方法简单地扩充参数模型（T5基础）会产生更准确的结果（例如，25.8→ NQ上的44.3 EM）同时保持高吞吐量（例如NQ上1000个查询/s）。与检索的改进模型相比，EMAT在WoW和ELI5上运行得更快，结果更准确。

1 引言

2 相关工作

3 高效内存增强Transformer

4 EMAT的训练流程

5 实验

6 分析

7 结论

在这项工作中，我们提出了一种有效的内存改进Transformer（EMAT），它结合了参数模型和检索改进模型的优点。它将外部知识编码到键值存储器中，并利用快速MIPS搜索进行存储器查询。我