本文是LLM系列文章,针对《Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models》的翻译。
摘要
大多数开放领域对话系统都会忘记重要信息,尤其是在长期对话中。现有的工作通常训练特定的检索器或汇总器从过去获得关键信息,这是耗时的,并且高度依赖于标记数据的质量。为了缓解这个问题,我们建议使用大型语言模型(LLM)递归生成摘要/内存,以增强长期记忆能力。具体来说,我们的方法首先刺激LLM记忆小的对话上下文,然后使用以前的记忆和下面的上下文递归地产生新的记忆。最后,LLM可以在最新内存的帮助下轻松生成高度一致的响应。我们使用ChatGPT和text-davinci-003评估了我们的方法,在广泛使用的公共数据集上的实验表明,我们的方法可以在长上下文对话中产生更一致的响应。值得注意的是,我们的方法是一种潜在的解决方案,可以使LLM对超长上下文进行建模。稍后将发布代码和脚本。