Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement...

Memory-R1论文总结与核心部分翻译

一、论文主要内容总结

1. 研究背景与问题

大型语言模型（LLMs）在自然语言处理任务中表现出色，但存在无状态性和上下文窗口有限的核心缺陷，无法实现长程推理与跨会话信息留存。现有通过外部记忆库增强LLMs的方案（如检索增强生成RAG）多依赖静态启发式策略，存在两大关键问题：

• 记忆检索低效：要么检索条目过少遗漏关键信息，要么过多导致噪声干扰，且缺乏过滤与优先级排序机制；
• 记忆管理缺失：现有CRUD（创建、读取、更新、删除）或{ADD, UPDATE, DELETE, NOOP}操作依赖LLM原生指令，无学习信号引导，易出现误判（如将“新增宠物”误判为“替换宠物”，删除原有记忆）。

2. 核心方案：Memory-R1框架

提出基于强化学习（RL）的Memory-R1框架，通过两个专用智能体解决上述问题，实现动态记忆管理与高效利用：

• 记忆管理器（Memory Manager）：学习执行结构化记忆操作（ADD/UPDATE/DELETE/NOOP），维护记忆库的一致性与准确性；
• 回答智能体（Answer Agent）：通过“记忆蒸馏（Memory Distillation