Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models

828 篇文章

已下架不支持订阅

本文提出一种使用大型语言模型(LLM)递归生成摘要,以增强其长期对话记忆能力的方法。针对开放领域对话系统容易忘记重要信息的问题,通过刺激LLM记忆对话上下文并递归更新,实现更一致的响应生成。实验显示,这种方法在长上下文对话中表现出色,适用于超长上下文建模。未来研究将探讨其在更复杂任务中的应用和优化摘要性能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文是LLM系列文章,针对《Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models》的翻译。

递归总结在大型语言模型中实现长期对话记忆

摘要

大多数开放领域对话系统都会忘记重要信息,尤其是在长期对话中。现有的工作通常训练特定的检索器或汇总器从过去获得关键信息,这是耗时的,并且高度依赖于标记数据的质量。为了缓解这个问题,我们建议使用大型语言模型(LLM)递归生成摘要/内存,以增强长期记忆能力。具体来说,我们的方法首先刺激LLM记忆小的对话上下文,然后使用以前的记忆和下面的上下文递归地产生新的记忆。最后,LLM可以在最新内存的帮助下轻松生成高度一致的响应。我们使用ChatGPT和text-davinci-003评估了我们的方法,在广泛使用的公共数据集上的实验表明,我们的方法可以在长上下文对话中产生更一致的响应。值得注意的是,我们的方法是一种潜在的解决方案,可以使LLM对超长上下文进行建模。稍后将发布代码和脚本。

1 引言

2 任务定义

3 方法

4 实验

5 主要结果

6 分析

已下架不支持订阅

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值