RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation

本文是LLM系列文章，针对《RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation》的翻译。

摘要

在推理时检索文档并在上下文中为其做准备可以提高语言模型在各种任务中的性能。然而，这些文件往往跨越数百个单词，使推理成本大大增加。我们建议在上下文集成之前将检索到的文档压缩为文本摘要。这不仅降低了计算成本，而且减轻了LM在长时间检索的文档中识别相关信息的负担。我们提出了两个压缩器——一个是提取压缩器，它从检索到的文档中选择有用的句子；另一个是抽象压缩器，它通过合成多个文档中的信息来生成摘要。当生成的摘要被准备到LM的输入中时，两个压缩器都经过了训练，以提高LM在最终任务中的性能，同时保持摘要的简洁性。如果检索到的文档与输入无关，或者没有向LM提供额外信息，我们的压缩器可以返回一个空字符串，从而实现选择性扩充。我们在语言建模任务和开放域问答任务上评估了我们的方法。我们实现了低至6%的压缩率，同时两项任务的性能损失最小，显著优于现成的摘要模型。我们证明，我们为一个LM训练的压缩器可以在语言建模任务中转移到其他LM，并提供在很大程度上忠实于检索到的文档的摘要。

1 引言

2 问题公式化：RECOMP<