本文提出一种使用大型语言模型（LLM）递归生成摘要，以增强其长期对话记忆能力的方法。针对开放领域对话系统容易忘记重要信息的问题，通过刺激LLM记忆对话上下文并递归更新，实现更一致的响应生成。实验显示，这种方法在长上下文对话中表现出色，适用于超长上下文建模。未来研究将探讨其在更复杂任务中的应用和优化摘要性能。
本文是LLM系列文章，针对《Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models》的翻译。
摘要
大多数开放领域对话系统都会忘记重要信息，尤其是在长期对话中。现有的工作通常训练特定的检索器或汇总器从过去获得关键信息，这是耗时的，并且高度依赖于标记数据的质量。为了缓解这个问题，我们建议使用大型语言模型（LLM）递归生成摘要/内存，以增强长期记忆能力。具体来说，我们的方法首先刺激LLM记忆小的对话上下文，然后使用以前的记忆和下面的上下文递归地产生新的记忆。最后，LLM可以在最新内存的帮助下轻松生成高度一致的响应。我们使用ChatGPT和text-davinci-003评估了我们的方法，在广泛使用的公共数据集上的实验表明，我们的方法可以在长上下文对话中产生更一致的响应。值得注意的是，我们的方法是一种潜在的解决方案，可以使LLM对超长上下文进行建模。稍后将发布代码和脚本。
已下架不支持订阅
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
