RAVEN: In-Context Learning with Retrieval Augmented Encoder-Decoder Language Models

本文是LLM系列的文章，针对《RAVEN: In-Context Learning with Retrieval
Augmented Encoder

摘要

在本文中，我们研究了检索增强的编码器-解码器语言模型的上下文学习能力。我们首先对最先进的ATLAS模型进行了全面分析，并确定了其在上下文学习中的局限性，主要是由于预训练和测试之间的不匹配，以及上下文长度的限制。为了解决这些问题，我们提出了RAVEN，这是一个结合了检索增强屏蔽语言建模和前缀语言建模的模型。我们进一步引入了上下文学习中的融合，通过使模型能够在不需要额外训练或模型修改的情况下利用更多的上下文示例来增强小样本性能。通过广泛的实验，我们证明了RAVEN显著优于ATLAS，并在某些场景中获得了与最先进的语言模型相当的结果，尽管参数要少得多。我们的工作强调了检索增强的编码器-解码器语言模型在上下文学习中的潜力，并鼓励在这个方向上进行进一步的研究。

1 引言

2 背景和相关工作

3 带有ATLAS的上下文学习

4 方法

5 实验

6 结论

在这项研究中，我们深入研究了检索增强编码器语言模型的上下文学习能力。我们首先对最先进的ATLAS模型进行了全面分析，随后基于分析开发了我们的模型。我们广泛的实验结果表明，我们的模型显著优于ATLAS，即使参数少得多，也能获得与一些最先进的语言模型相当的结果。这些发现突出了检索增强的编码器-解码器语言模型在上下文学习领域的潜力。鼓励未来专注于扩大模型规模并研究其上下文学习能力的工作。