Adapting Language Models to Compress Contexts

本文是LLM系列文章，针对《Adapting Language Models to Compress Contexts》的翻译。

摘要

1 引言

2 相关工作

3 方法

4 实验

5 上下文学习

6 压缩检索语料库实现高效推理

7 结论

我们引入了一种训练策略，用于将预训练的LMs调整为自动压缩器，自动压缩器将上下文递归压缩为摘要向量。我们的实验表明，摘要向量保留了重要的上下文信息，用于改进语言建模、上下文演示中的编码以及评估文章与用户查询的相关性。这表明，我们的无监督训练策略可以带来多用途的应用。摘要矢量可以预先计算、缓存和重复使用。这承诺通过减小注意力窗口的大小来提高实际的效率。未来还有大量工作要做，将自动压缩器扩展到更大的模型，并提高摘要向量的质量，以进一步缩小差距，同时充分关注长期上下文。

不足

• 我们只将AutoCompressors应用于参数高达2.7B的OPT型号。未来的工作需要确定自动压缩器在大型模型中的表现，但随着摘要向量维度的增长，每个向量可以保留更多信息。我们还质疑，其他具有不同体系结构特征的预训练模型族，如未绑定的输入输出嵌入，是否更难适应自动压缩器。
• 我们的研究结果表明