在当下科技发展的宏大叙事中，大模型与生成式人工智能无疑是最为耀眼的篇章，它们正以前所未有的速度和深度渗透到社会经济的各个角落，重塑着我们的生产生活方式。从智能客服精准解答用户疑问，到内容创作领域生成富有创意的文字、图像与视频，再到医疗、金融等专业领域辅助决策分析，大模型与生成式AI 的应用场景不断拓展，展现出巨大的发展潜力。
然而，随着技术的持续演进，大模型也面临着诸多挑战与瓶颈。其中，记忆能力的局限性成为制约其进一步发展的关键因素之一。当前的大模型在处理复杂任务和长期依赖关系时，往往会出现信息遗忘、上下文理解不准确等问题，导致生成结果的准确性和连贯性受到影响。例如，在多轮对话场景中，模型可能无法准确记住前文的关键信息，从而给出答非所问的回复；在复杂的故事创作中，也难以保持情节的逻辑性和一致性。
近日，ITPUB 有幸采访到记忆张量（上海）科技有限公司的 CTO 李志宇老师，一起探讨大模型与生成式人工智能领域中记忆增强技术的最新前沿进展、当下尚未攻克的技术瓶颈以及未来有望实现重大突破的关键方向等内容。
Key Takeaways：
1、大模型的核心限制已从参数规模转向“记忆能力”。
上下文窗口扩展 ≠ 真正记忆。智能增长需要稳定、可控、可扩展的长期记忆体系。
2、记忆不仅提升性能，更让 AI 拥有“温度”与“个性”。
长期、稳定、个性化的记忆让智能体能够真正理解用户、保持人格一致性、形成连续的情境认知，这是未来智能交互最重要的体验基础。
3、记忆应以“信息增益”而非“信息堆积”为原则。
模型应只记住对未来推理真正有价值的内容，实现选择性记忆和压缩。
4、记忆的幻觉问题是当前众记忆处理模型忽视的。
记忆只有在正确且真实的情况下才可用，记忆幻觉带来的灾难是非常危险的，细致的记忆幻觉评估必不可少。
5、记忆系统的边界在于：可达性、压缩失真、多跳推理退化。
这三个因素决定了复杂任务中的性能极限。
6、MemOS 构建了一套结构化的记忆操作系统。
支持记忆抽取、组织、检索、更新的标准化流程，并通过系统模型实现自动化调度。
7、记忆原生训练是未来大模型的必然方向。
模型需要学习“记忆形成与调用机制”，而不是依赖外挂式检索，Text2Mem 编排框架是必然发展趋势。
8、多模态记忆将重塑智能体能力边界。
未来的 AI 将以统一的记忆语义空间管理文本、图像、语音、视频，实现更真实的理解与推理。
01
风采展示
问题1：您好，李老师！很荣幸有机会采访到您，先简单介绍一下您自己！
主持人好，大家好，我是李志宇，博士毕业于中国人民大学，现任记忆张量（上海）科技有限公司联合创始人兼CTO，同时在上海算法创新研究院大模型中心担任研究员。我的研究方向主要聚焦于大模型的记忆增强与高效评估技术，并长期从事预训练与大模型应用算法的研发工作。在此之前，我曾在阿里巴巴、小红书等企业带领团队负责多个核心算法项目，这些技术成果服务于双十一、广告推荐等超大规模业务场景。近期，我们联合多家学术与产业机构提出了业内首个大模型记忆操作系统（MemOS），希望为大模型的记忆增强与智能演化提供系统化的技术路径。目前，这一方向已在多个行业场景落地，也成为我们持续深入探索的核心主题。作为一家本土创业公司，我们期望跑出国际加速度，让记忆这件事情深入到通往 AGI 时代的每个行业中，真正让 AI 有温度。
02
基础理论与原理
问题2：在构建大模型记忆体系时，如何从信息论的角度衡量记忆的容量、质量和有效性，以确定合理的记忆规模和存储方式，避免过度记忆或记忆不足的问题？
这是一个非常核心的问题。我们在构建大模型记忆体系时，确实需要避免两个极端，一是“记得太多”，模型陷入信息冗余和噪声累积；二是“记得太少”，导致智能无法延续。为了找到平衡点，我们需要找到合适的角度去刻画记忆的“量”和“质”。
从信息论的视角看，记忆本质上是信息压缩与重构的过程。我们希望记忆中存储的每一条信息，都能对模型未来的推理或决策产生最大化的信息增益。因此，我们用类似互信息的指标来衡量记忆的价值。那些能显著提升预测、规划或生成质量的记忆，就值得被保留；反之，则可以被压缩或遗忘。这其实是一种信息效率最大化的策略，让模型的记忆既丰富又高效。当然，在在工程实现层面，我们会引入分层的记忆结构建模和管理：参数记忆、激活记忆和明文记忆，这也是由于通常对于应用场景而言，这三类的需求程度和读写频率面向场景都会有差异性。我们需要根据场景的不同，去动态的建模和调度不同的记忆类型。
可以说，信息论为我们提供了一种定量化的思维方式——帮助模型判断什么是“值得记住的事”，什么应该“被遗忘”。但最终目标不是让模型变成一个无所不记的机器，而是让它具备一种类似人类的选择性记忆，能在有限的存储与计算预算下，保留对智能行为最关键的那部分经验与知识。当然，围绕这个，我们团队的首席科学家杨泓康博士也是正在进行系统化的理论推演和研究，力求从信息增益的角度，对记忆的基本原理有更加完善的建模和突破。
问题3：记忆增强大模型在面对极端复杂、逻辑跨度极大且信息高度分散的任务时，其记忆整合与推理能力的边界究竟在哪里？如何设计有效的评估指标来量化这一边界，以指导模型在实际应用中的合理使用？
您的这个观察确实是十分敏锐，记忆增强的大模型在理论上扩展了模型可用上下文的“有效长度”，但在面对您说场景任务时，记忆整合与推理能力并非无界增长，我认为它其实是有明确的瓶颈与退化模式的。这里我想从两个方面讨论下：
首先说边界。记忆增强系统的推理能力受三类因素限制：一是信息可及性，也就是关键事实是否能被检索到并以可理解的形式供推理模块使用；二是压缩失真，长期记忆通常要经过编码与压缩，重要细节可能在这一阶段丢失，导致推理链路断裂；三是推理链长度与组合复杂性，随着需要组合的记忆片段数与中间推理步数增加，模型的错误累积和归纳偏差会使正确率呈指数级下降。因此，当任务需要跨越大量低频事实、执行多轮多跳组合并保持逻辑一致时，系统的表现会在某个跳数/信息碎片数后急剧下降，这就是它的实际边界。
当然，要量化并可视化这类边界，单一的准确率不够，我们需要多维度、可解释的评估指标和应力测试设计，其中，关键是建立一套结合信息覆盖度、推理深度和一致性的综合指标体系。那么，我们这里的评估也是从边界的角度上去考虑的，比如信息可达性，用检索召回率或证据利用率衡量；二是推理链长度与正确率，通过多跳任务的性能随推理步数增加的变化曲线来刻画；三是一致性与可信度，衡量模型在整合分散记忆时是否保持事实一致、避免幻觉，这里可能就是需要单独构建面向记忆的幻觉评估框架。例如，我们近期发布的的 HaluMem 框架，就是业内首个专为记忆系统设计的操作级幻觉评测基准，覆盖“提取—更新—问答”全流程，用以全面检测和量化记忆系统在不同阶段的幻觉行为。
03
记忆增强技术层面与架构层面
问题4：在金融行业应用记忆增强技术的大模型或系统时，如何确保模型在处理客户敏感数据（如交易记录、财务状况等）过程中的数据安全性和隐私性，防止数据泄露和滥用？
确实，记忆作为个人和组织的重要资产，其安全性和隐私性在金融行业尤为关键。我们的整体思路是从模型对齐与应用治理两个层面同时展开。
在模型对齐层面，我们会通过安全强化对齐和记忆过滤机制，让模型在训练与推理阶段自动区分可被记忆的信息和禁止长期存储的敏感数据。在应用层面，我们构建了多级访问与审计机制，将记忆系统划分为私域、机构域与公共域，确保不同层次的数据仅能在授权范围内被调用。所有记忆的写入、检索与更新操作均可追踪、可撤销。此外，我们为每条记忆建立生命周期管理机制，到期自动失效或加密归档。通过这种模型层自约束+ 系统层可监管的双层防护，我们希望实现一种可记忆、但不越界；可调用、但可控的记忆安全范式，让大模型在金融场景中既能保持智能性，也能充分保障信任与合规。
问题5：在记忆张量公司提出的MemOS 框架中，各个模块之间，如记忆抽取、记忆组织、记忆检索等，是如何进行高效交互和协同工作的，这种交互机制在处理复杂、多轮次任务时如何保证稳定性和准确性？
在MemOS 框架中，我们始终坚持系统协同这一核心理念。记忆抽取、记忆组织、记忆检索这些模块并不是孤立运作的，而是通过两条路线实现高效交互与协同工作的。一条是由我们的算法工程师针对具体应用场景定制的Pipeline 流程，它保证了系统在落地层面的稳定性和确定性；另一条是基于大模型的自动化编排方案，让系统能够在面对复杂、多变的任务时具备自适应与泛化能力。
在第一条路线中，MemOS 会根据任务类型预先定义清晰的处理管线。例如，当一个对话任务触发时，系统会按照“记忆抽取 → 记忆组织 → 记忆检索 → 记忆更新”的顺序依次执行。每个模块都有明确的输入输出协议和数据结构，通过统一的结构体进行交互，整个流程可以用工程化方式精确控制。这种方式非常适合在金融、客服等高可靠性场景中部署，系统的行为是可预测、可验证的。
而在第二条路线中，我们利用大模型本身的理解与规划能力，让它来读懂记忆框架的各个算子，并生成一套动态的编排指令。也就是说，模型可以根据当前任务状态，自主决定调用哪些记忆模块、采用何种参数与顺序。例如，在多轮任务或跨会话推理中，系统模型会根据上下文自动触发“抽取 + 检索 + 复查”的组合操作，实现真正的智能化调度。
为了在这两种路线下都能保证稳定性和准确性，我们在系统中加入了异步的一致性约束、记忆快照与幻觉检测机制。每一次记忆更新都会经过时序校验和冲突检测；系统还会实时监测记忆内容的准确性，利用我们提出的HaluMem 框架对潜在幻觉或错误更新进行评估与纠正。这套机制确保了在长时、多轮的任务执行中，记忆信息始终保持逻辑一致和事实正确。
问题6：在 MemOS 框架中，记忆模块的扩展性如何？当面对大规模数据和复杂任务时，如何确保记忆模块能够高效扩展而不影响整个模型的性能和稳定性？
在MemOS 的设计理念中，我们始终以“人”或者“Agent”为核心来思考记忆管理与模块化扩展的问题。我们认为，记忆系统的本质不是简单地堆叠存储容量，而是要让智能体在持续演化中，像人一样能取舍记忆、组织经验（比如我们设计的类脑图知识组织方案）、持续成长。因此在MemOS 的架构里，每一个记忆模块都围绕 Agent 的生命周期设计，具备清晰的边界、独立的接口和可扩展的层级逻辑，这让系统能够在保持稳定的同时，灵活应对不同规模的数据与任务。
从架构上看，MemOS 的记忆模块是通过分层记忆管理来实现高效以及可扩展性的。每个人或者 Agent 都会维持一个专属的记忆体，这个记忆体是可被打包、转移或者传输的。在性能与稳定性保障方面，我们引入了两类关键机制：一是异步记忆调度机制，它让记忆的读写与模型计算解耦，不会因为大规模记忆操作拖慢主推理流程；二是增量更新与记忆压缩技术，系统会通过自动蒸馏与压缩算法，将长期未访问或低价值的记忆进行提炼与融合，减少冗余占用，从而保证系统即使在超大规模数据流或者高QPS 环境下仍能高效运作。
04
记忆增强训练方法层面
问题7：目前各家记忆系统多数都是基于通用基座构建的应用处理流程，但您更加强调说需要通过模型层面的训练来结合提升记忆处理的效果？为什么会有这样的考虑呢？
确实，目前很多记忆系统的做法主要是基于现有大模型去做“外挂式记忆”，也就是通过外部数据库、RAG 检索或工作流编排的方式，把记忆功能包在模型外层。这种方式在工程上简单、可快速落地，但它本质上仍然是一种“调用式记忆”或者“阻断式记忆”，并没有真正改变模型对记忆的理解与使用方式。而我们在MemOS 中更强调要通过模型层面的训练去融合记忆，让模型能够内生地学习到记忆的形成、更新与调用逻辑，构建一个ALL-Ready 的记忆状态和上下文空间。
我们之所以有这样的考虑，主要出于两个核心原因。第一，从智能演化的角度看，真正的记忆不是外部调用的缓存，而是模型认知体系的一部分。人类在记忆时会经历“编码—提取—重构”的过程，而大模型若没有在参数层或激活层中学习这些机制，它就无法真正做到稳定记忆和长期依赖，所有外部的 RAG 都只是模仿。第二，从系统性能的角度看，外部记忆虽然灵活，但在多轮交互中会出现语义漂移、检索偏差、幻觉积累等问题。只有让模型在训练阶段就理解什么是重要的记忆、如何压缩、如何复用，才能从源头上提升系统的可靠性和一致性。
因此，在MemOS 中，我们正在尝试构建包括记忆原生基模的概念，也就是让模型在后训练或自蒸馏阶段，通过显式的记忆标签与记忆链学习，去掌握如何管理和调用记忆，让模型在面对旧知识或长期上下文时，能够自主地识别哪些信息应当巩固、哪些应当遗忘。同时，我们还在研究参数记忆与明文记忆之间的协同蒸馏，让模型既能在参数中保留稳定的长期知识，又能通过外部记忆灵活应对动态任务。
我一直认为，如果说现有的多数记忆系统是在教模型去查笔记，那么我们做的是教模型学会思考和整理自己的记忆。只有把记忆融入模型的学习和推理机制中，智能体才能真正具备持续学习与经验积累的能力，这也是我们推进MemOS 的最核心目标。
问题8：当使用强化学习训练记忆调度策略时，如何解决探索-利用平衡问题，确保模型既能充分探索不同的记忆方式，又能有效利用已有的最优记忆策略？
这个问题非常关键。我们在MemOS 的调度算子研究中确实发现，当用强化学习训练模型的记忆调度策略时，最难处理的不是奖励设计本身，而是探索与利用的平衡问题——也就是模型在面对庞大的记忆空间时，如何在尝试新的记忆方式和巩固已有的最优策略之间动态切换。过度探索会导致系统学习不稳定、效率低下，而过度利用又会让模型陷入惯性记忆，缺乏自我更新的能力。
在MemOS 的设计里，我们主要通过三层机制来解决这个平衡问题。第一层是分阶段探索机制。我们让模型在训练早期保持较高的探索率，而在训练中后期，会逐步降低探索率，让模型更多地利用过去被验证有效的记忆操作。这有点类似人类学习过程中的“先广度后深度”——先学会如何记，再学会如何记得更好。第二层是基于信息增益的奖励重构机制。我们不是单纯奖励模型生成正确的答案，而是奖励它在记忆操作中带来的“知识增益”——例如是否发现了新的关联、是否优化了记忆压缩效率、是否减少了幻觉率。这样模型在强化学习过程中就会自然地倾向于那些真正提升记忆系统表现的策略，而不是只在短期准确率上做表面优化。第三层是动态记忆策略池。我们在训练过程中同时维护多个策略分支，让模型在不同上下文下能够自适应切换。例如，当系统检测到任务变化或上下文漂移时，会自动触发新的探索模式；而在稳定场景中则优先使用已经收敛的策略。
总的来说，我们希望强化学习下的记忆训练更接近人类的持续学习范式：既要有足够的探索，去发现新的记忆组织逻辑；又要能在已有经验上稳步迭代，形成可复用的记忆策略。这种平衡机制也让MemOS 的记忆系统在面对开放环境和长周期任务时，既具备适应性，又能保持稳定性与可控性。
05
记忆增强技术与 MemOS
的未来趋势和挑战
问题9：您觉得未来记忆增强实现的最典型和最高效的范式是什么？实现的过程中有什么大的技术挑战值得注意吗？
我认为，未来记忆增强技术最典型、也最有效的实现范式，一定是模型原生+ 系统协同的融合形态。也就是说，记忆不再是外挂式的模块，也不是单纯的数据库或检索层，而是成为大模型内部认知结构与外部系统协同机制的一体化组成部分。我们希望模型不仅能查得到过去的信息，更能理解自己为什么记得和知道何时该忘记。这一点听起来简单，但本质上意味着人工智能开始具备自我记忆管理与动态知识更新的能力。
在实现路径上，我认为会呈现三层融合的趋势。第一层是模型层的记忆内生化，也就是让模型在训练过程中学习记忆形成与更新的机制，比如通过自蒸馏、强化回放或链式记忆学习（Chain-of-Memory）等方式，使记忆结构内化到参数和激活空间中；第二层是系统层的记忆编排与调度，通过像MemOS 这样的操作系统级架构，实现不同类型记忆（参数记忆、激活记忆、明文记忆）的动态管理和多任务共享；第三层是跨模型与跨Agent 的记忆互联，也就是让多个智能体之间能够共享和迁移记忆，从而形成真正的群体记忆网络。这种三层融合的架构，最终会让AI 拥有持续学习、协作演化的能力，而不是在每次任务中从零开始。
当然，这条路上也存在很大的技术挑战。首先是一致性问题，不同来源、不同时间的记忆（特别是参数记忆和激活记忆）如何融合而不产生冲突，是系统最难控制的部分；其次是可解释性问题，当模型基于大量动态记忆做出决策时，我们如何追踪它的记忆来源与演化路径；第三是记忆约束与隐私问题，未来的记忆系统要像人脑一样可记、可忘、可加密，这需要在算法、系统与伦理层面共同突破。除此之外，还有性能与成本问题——如何在超长上下文、超大记忆图的情况下，仍然保持检索速度、训练效率和能耗平衡，这将是工程落地的关键考验。
我相信，记忆增强的未来不会是一个单点技术突破，而是一个跨层融合、持续演化的系统工程。
问题10：MemOS 未来是否会突破现有单一文本模态记忆的限制，全面整合图像、音频、视频等多模态记忆信息，实现跨模态记忆的深度融合与协同推理，以适应更复杂、多元的应用场景？
我认为这是记忆系统发展中最具确定性的趋势之一。因为人类的记忆从来不是单一模态的，我们在记忆一件事情时，往往同时保留文字、图像、声音甚至情感的线索；而如果人工智能希望具备真正的理解与推理能力，就必须能够在不同模态之间建立统一的记忆表征。因此，MemOS也一定会突破单一文本模态的限制，走向多模态记忆的融合与协同推理。
在目前的研发路线中，我们已经在构建多模态记忆架构，它的核心思路是：通过统一的记忆编码与对齐机制，把文本、图像、语音、视频等不同模态的信息映射到同一个记忆语义空间中。比如，当系统处理一段会议视频时，它不仅会抽取文字记录，还会同步提取说话者的语音特征、表情变化、图像场景信息，并通过记忆抽取和记忆组织模块进行语义对齐与时序建模。这样，记忆就不再是单线索文本，而是一种跨模态的认知节点，可以在后续的检索与推理中被统一调用。
更重要的是，在记忆检索与记忆推理阶段，我们希望模型能够实现跨模态的协同回忆。比如在处理一个医疗场景时，系统既能检索患者的病历文本，又能自动联想到影像片段中的异常区域，并结合历史语音记录做出判断；又如在金融或工业领域，模型可以同时分析报告内容、图表趋势和视频监控信息，形成一个多视角的记忆认知链。这种能力本质上是一种多模态记忆推理，它让系统具备了更接近人类理解方式的通用智能特征。
当然，这条路也充满挑战。最大的问题是模态对齐与记忆一致性，不同模态的信息往往存在时空错配和语义差异，我们需要设计更高维的对齐机制和动态权重策略，来保证系统在融合时不丢失细节、不过度压缩。其次是效率与算力成本，多模态记忆的读写和检索非常庞大，我们正在通过稀疏化存储、事件触发更新、以及记忆图分层管理等手段去优化。最后是推理一致性与可解释性，在多模态融合后，如何追溯模型的记忆来源、保证不同模态间推理链条的逻辑透明，这将是未来一段时间我们重点攻关的方向。
总体来说，我认为多模态记忆是记忆增强的必然演化方向。而MemOS的目标正是希望成为连接多模态智能的记忆操作系统，让模型不仅能“看懂”“听懂”“读懂”，更能“记得对、想得通、推得准”。同时，我们最近发布了平台化的API 系统，能够让开发者们更加快速高效的使用记忆增强框架，欢迎感兴趣的同学搜索 MemOS 并试用 API。
关于 MemOS
MemOS 为 AGI 构建统一的记忆管理平台，让智能系统如大脑般拥有灵活、可迁移、可共享的长期记忆和即时记忆。
作为记忆张量首次提出“记忆调度”架构的 AI 记忆操作系统，我们希望通过 MemOS 全面重构模型记忆资源的生命周期管理，为智能系统提供高效且灵活的记忆管理能力。
249
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
