MEMORYLLM: Towards Self-Updatable Large Language Models

本文是LLM系列文章，针对《MEMORYLLM: Towards Self-Updatable Large Language Models》的翻译。

摘要

现有的大型语言模型（LLM）在部署后通常保持静态，这可能会使向模型中注入新知识变得困难。我们的目标是建立包含相当一部分自更新参数的模型，使模型能够有效地集成新知识。为此，我们介绍了MEMORYLLM，它是一个模型，包括一个Transformer和Transformer潜在空间内的固定大小的内存池。MEMORYLLM可以利用文本知识进行自我更新，并记忆先前注入的知识。我们的评估证明了MEMORYLLM有效整合新知识的能力，其在模型编辑基准测试上的表现证明了这一点。同时，该模型显示出长期的信息保留能力，这一能力通过我们定制的评估和长期背景基准得到了验证。MEMORYLLM还显示出操作完整性，即使在近一百万次内存更新后也没有任何性能下降的迹象。

1 引言

2 前言

3 MEMORYLLM

4 实验

5 相关工作

6 结论和未来工作

在本文中，我们提出了MEMORYLLM，这是一个由Transformer和Transformer潜在空间内的巨大内存池组成的语言模型，作为模型的自更新参数。MEMORYLLM可以用新知识对记忆进行自我更新，实现有效的知识整合和缓慢忘记以前的