MemSifter 核心机制深度解析(非常详细),4B小模型管理大模型记忆从入门到精通,收藏这一篇就够了!

4B 小模型,为什么看起来不够聪明?以及它到底还有没有前途 4B 小模型不是没前途,而是不能再用“通用大模型缩小版”的思路去做。用高质量数据学;从强老师继承能力;通过检索获得知识;通过验证减少幻觉;通过拒答提高可信度;通过更合理的 decoding 避免重复和退化;在系统里承担合适的角色。所以,4B 要变聪明,不是让它“更像大模型”,知道什么时候该查;知道什么时候该停;知道什么时候该说“我不知道”;知道什么时候该把任务交给别人。从这个意义上说,4B 小模型的未来并不悲观。 阅读详情

一句话总结:MemSifter训练一个4B参数的代理模型,通过"先推理再检索"的方式,替大模型从海量历史对话中筛选相关记忆,速度比全上下文方案快12倍,效果还更好。

论文标题:MemSifter: Offloading LLM Memory Retrieval via Outcome-Driven Proxy Reasoning


1. 这篇论文要解决什么问题?

假设你有一个AI助手,跟它聊了几个月,积累了上百轮对话。现在你问它:"上次我提到的那个慈善活动的时间地点是什么?"这个问题看似简单,实际上难倒了绝大多数现有系统。

核心矛盾在于:LLM的长期记忆管理是一个尚未被很好解决的工程和算法问题。

目前主流方案有三种,每种都有明显的短板:

第一种:全部塞进上下文窗口。随着Gemini、GPT-4o等模型把上下文长度推到128K甚至1M token,一个自然的想法是——把所有历史对话直接拼进prompt。但这带来两个严重问题:(1)推理延迟随上下文长度线性甚至超线性增长,128K上下文的一次推理可能要50秒;(2)"大海捞针"效应——当无关信息太多时,模型反而更容易忽略关键信息,回答质量下降。

第二种:嵌入向量检索(如BGE-M3)。把历史对话编码成向量,用余弦相似度检索。速度快,但语义理解太浅。当用户问"上次那个活动"时,嵌入模型很难理解"那个"指代什么,检索命中率不高。

第三种:记忆管理框架(如Mem0、HippoRAG)。构建知识图谱或结构化记忆存储。这类方法在提取和组织信息时会引入信息损失,而且在记忆量大时维护成本高。

MemSifter的思路很直接:让一个小模型(4B参数)专门负责记忆检索,它先思考当前任务需要什么信息,再从历史会话中排序筛选。关键创新是——用大模型的实际任务表现作为奖励信号来训练这个小模型,而不是依赖人工标注的检索标签。

这个思路带来的好处是三重的:小模型推理成本低(延迟约4秒 vs 全上下文50秒);"先思考再检索"比纯向量匹配理解更深;用实际任务结果训练比用检索标签训练对齐度更高。


2. 方法:MemSifter是怎么做的?

2.1 问题定义

先明确几个角色。**工作LLM(Working LLM, M)**负责处理用户的实际任务。**记忆库(Memory Bank)**存储所有历史交互记录。**代理模型(Proxy Model, P)**负责从记忆库中检索与当前任务相关的记忆片段。

整个流程:用户提出任务 → 代理模型P从H中检索 → 工作LLM基于和生成回答。

目标是最大化工作LLM的回答质量,而代理模型的检索质量直接决定了这一点。

2.2 记忆代理推理流水线

MemSifter的推理流程分三个阶段。下面结合框架图逐一拆解。

MemSifter框架图:上半部分为Memory RL训练流程,下半部分为推理流程

阶段一:预处理——会话切分

原始历史记录是一长串多轮对话。预处理步骤将其按话题连续性切分为独立会话(session),每个会话分配唯一标识符<session id>。切分策略依据话题的转换点,确保同一话题的对话不会被人为拆开。

这步的意义在于:后续的检索和排序都以session为粒度进行,而非单条消息。这既降低了排序复杂度,又保留了对话的上下文完整性。

阶段二:粗筛——嵌入预过滤

当历史记录太长(超过代理模型的上下文窗口128K)时,不能把所有session都送进代理模型。MemSifter在这一步用轻量级嵌入模型BGE-M3做粗粒度的预过滤——计算每个session与当前任务的嵌入相似度,保留前K个session。

论文声称这一步的信息损失不到1%。这个数字是怎么来的?他们在实验中对比了有无粗筛的检索效果,发现在绝大多数情况下,被过滤掉的session确实与当前任务无关。粗筛的作用是"去掉明显不相关的",把精细筛选的工作留给代理模型。

注意,只有当历史记录超出代理模型上下文窗口时才启用粗筛。对于128K以内的历史记录,直接跳过这一步。

阶段三:Think-and-Rank——先推理后排序

这是MemSifter的核心环节。代理模型接收所有候选session和当前任务,输出格式为:

<think>分析当前任务需要什么信息...Session 27涉及慈善活动讨论,可能相关...Session 15提到了活动地点...</think><ranking>27, 15, 34, 5, ...</ranking>

<think>标签内是推理过程,代理模型在这里分析当前任务与各session的关联性。<ranking>标签内是排序结果,按相关性从高到低排列session ID。

这种"先思考再检索"的设计,与纯向量检索的本质区别在于——代理模型可以进行多步推理。比如用户问"上次那个活动的地点",代理模型可以先推理"用户指的可能是最近讨论过的某个具体活动",再去匹配相关session。向量检索只能做单步语义匹配,处理不了这种需要推理的间接引用。

排序完成后,取top-k个session作为,拼接到当前任务前面,送给工作LLM。

2.3 结果驱动的强化学习训练

模型架构和推理流程讲清楚了,最关键的问题来了:怎么训练这个代理模型?

传统做法是用人工标注的检索标签(哪些session是相关的)来做监督学习。但这个方法有两个问题:(1)标注成本高,尤其是长历史记录场景;(2)标注标准和实际任务需求不一定对齐——标注员认为"相关"的session,不一定是工作LLM真正需要的。

MemSifter的做法彻底不同:用工作LLM的实际回答质量作为奖励信号。具体来说,代理模型检索出一组session后,把这些session送给工作LLM回答问题,然后用评估器(如DeepSeek V3.2)对回答质量打分。这个分数就是训练代理模型的奖励信号。

这就是论文标题中"Outcome-Driven"(结果驱动)的含义——不看你检索对不对,看你检索的东西有没有真正帮到大模型回答好问题。

训练算法采用GRPO(Group Relative Policy Optimization,组相对策略优化)。GRPO是PPO的一个变体,核心思想是:对同一个任务采样多个输出(论文中n=6),计算它们各自的奖励,然后用组内相对排名来计算优势函数,而不是训练一个单独的价值网络。这降低了训练复杂度。

2.3.1 边际效用奖励

奖励函数的设计是MemSifter最精妙的部分。

直觉很简单:一次好的检索,应该让工作LLM的回答质量显著提升。所以我们需要衡量的是——检索出的记忆相比"没有记忆"时带来了多大的边际提升。

具体实现如下图所示:

边际效用奖励计算流程

假设代理模型输出了一个排序列表,MemSifter按Fibonacci序列选取检查点。对于每个检查点,取排序列表的前个session,拼接到任务中让工作LLM回答,得到评分。同时,不给任何记忆让工作LLM回答同一个问题,得到基线分。

为什么用Fibonacci序列而不是每加一个session就评估一次?因为工作LLM的推理成本很高。如果排序列表有50个session,每加一个都要调用一次工作LLM,训练成本会爆炸。Fibonacci序列只需要6次调用(包括基线),就能大致描绘出"随着记忆增加,回答质量如何变化"的曲线。

最终的答案奖励公式为:

其中权重的计算受到信息检索中DCG(Discounted Cumulative Gain)的启发:

这个权重设计的含义:排名越靠前的session,权重越大。下图直观地展示了权重的衰减趋势:

权重w_n随检索session数量的衰减曲线

,,,,。排名第1的session权重是排名第8的7倍。这个设计鼓励代理模型把最相关的session排到最前面——因为排在前面的session对奖励的贡献远大于排在后面的。

再看公式中的项。它的作用是减去基线分。如果一个问题不需要记忆就能回答好(很高),那即使检索结果也得了高分,最终的奖励也不会很大。只有当记忆真正带来了边际提升时,奖励才会显著为正。这防止了代理模型在"简单问题"上获得虚假的高奖励。

2.3.2 训练稳定性策略

纯RL训练容易不稳定。MemSifter采用了三个策略来保持训练过程的稳定:

热身阶段(Warm-up):总奖励,其中是基于传统检索指标(DCG)的辅助奖励。训练初期较大,提供方向性引导;随着训练推进,逐渐衰减到0,让模型完全由结果驱动的奖励主导。这就像先给学生一本参考答案让他入门,等他有了基础判断力后再收走参考答案。

课程学习(Curriculum Learning):设置锚点分数,动态选择难度接近这个阈值的训练样本。太简单的(基线分就很高)学不到东西,太难的(怎么检索都回答不好)容易产生噪声梯度。只有"努力一下能做好"的样本才是最有效的训练信号。

模型合并(Model Merging):每个epoch结束后,取验证集上表现最好的top-k个checkpoint,用算术平均的方式合并参数,作为下一个epoch的初始化。这类似于集成学习的思路——单个checkpoint可能在某些样本上过拟合,但多个checkpoint的平均通常更加鲁棒。

训练配置方面:基座模型为Qwen3-4B-Thinking,输入上下文128K,输出窗口16K,4K缓冲区,batch size 32,GRPO采样数n=6,训练3个epoch,在8张H200 GPU上完成。工作LLM使用Qwen3-30B-A3B-Instruct提供奖励反馈。


3. 实验:MemSifter表现如何?

3.1 实验设置

数据集:8个数据集,涵盖不同的记忆检索场景和上下文长度——

  • LoCoMo:长对话记忆数据集,在32K、128K和1M三个上下文长度上测试
  • LongMemEval(128K):长期记忆评估
  • PersonaMem(128K):个人画像记忆
  • PerM-V2(128K):个性化记忆V2版
  • ZH4O(128K):中文记忆数据集
  • HotpotQA(128K):多跳问答
  • WebWalker(128K):网页浏览记忆
  • WebDancer(128K):网页交互记忆

基线方法:

  • 嵌入检索:BGE-M3、GemmaEmb
  • 记忆管理:Nemori、Mem0、HippoRAG、A-MEM
  • 生成式重排序:Rearank、ReasonRank
  • 全上下文:DeepSeek-V3.2、Qwen3-30B(直接把全部历史塞进上下文窗口)

评估指标:F1分数,由DeepSeek V3.2或Qwen3-30B担任评估器。

3.2 主要结果

下表展示了以DeepSeek V3.2为评估器时各方法的F1分数:

方法LoCoMo 32KLoCoMo 128KLoCoMo 1MLongMemEvalPersonaMemPerM-V2ZH4OHotpotQAWebWalkerWebDancer
BGE-M329.5725.6722.5620.2712.8719.1937.6019.9823.3926.59
GemmaEmb30.6126.28—17.7214.3820.3040.4120.1423.1827.41
Nemori32.4226.58—19.0414.1416.9334.8217.0218.5626.41
Mem027.3424.72—18.3812.3015.5131.7615.5618.2325.65
HippoRAG31.2625.90—13.3816.2318.7434.0614.4119.6921.91
A-MEM28.9723.53—15.9312.2716.5831.7215.0018.4224.01
Rearank32.0030.2524.0516.8916.6320.3940.7520.6022.7831.79
ReasonRank34.4930.1725.5518.3616.0821.3039.3820.4124.1530.78
DS-V3.2全上下文33.5028.79—18.6615.8923.6444.6517.8920.8329.73
MemSifter41.7935.3833.3223.7021.1423.5748.1324.9526.1138.21

几个值得关注的数据点:

MemSifter在所有10个配置上都取得了最佳或接近最佳的成绩。这不是在某一两个数据集上好,而是全面碾压。

在LoCoMo 32K上,MemSifter(41.79)比第二名ReasonRank(34.49)高出21%。在128K和1M的长上下文场景下,优势更加明显——LoCoMo 1M上,MemSifter(33.32)比ReasonRank(25.55)高出30%。

在PersonaMem上,MemSifter(21.14)比第二名HippoRAG(16.23)高出30%。PersonaMem测试的是个人画像相关的记忆检索,对推理能力要求较高——需要理解"用户偏好"这类隐含信息。MemSifter的think-and-rank机制在这类任务上优势尤为明显。

在中文数据集ZH4O上,MemSifter(48.13)甚至超过了DeepSeek-V3.2全上下文方案(44.65)。这说明即使大模型能看到所有历史,也不如精准检索后再回答。信息过载确实会伤害模型的表现。

更关键的一点——MemSifter的训练数据主要来自LoCoMo和LongMemEval,但在PersonaMem、PerM-V2、ZH4O、HotpotQA、WebWalker、WebDancer这些未见过的数据集上也取得了最优成绩。这说明结果驱动训练学到的不是数据集特定的模式,而是通用的"记忆推理"能力。

以Qwen3-30B为评估器时,趋势基本一致:MemSifter在LoCoMo 1M上达到49.58,LongMemEval上26.45,PersonaMem上23.75,都是最高分。在个别数据集(如WebDancer=35.10)上不是绝对最优,但差距很小。

3.3 检索质量分析

F1分数衡量的是最终回答质量。那检索本身的质量如何?

方法LoCoMo NDCG@1LoCoMo NDCG@5LongMemEval NDCG@1LongMemEval NDCG@5PersonaMem NDCG@1PersonaMem NDCG@5
BGE-M343.5769.5943.3373.1645.8364.82
ReasonRank47.6471.4660.6780.7240.0066.53
MemSifter70.0078.1167.3389.6760.0075.63

MemSifter在NDCG@1上的表现差距惊人:LoCoMo上70.00 vs ReasonRank的47.64,提升了47%;PersonaMem上60.00 vs BGE-M3的45.83,提升了31%。

NDCG@1反映的是"排在第1位的session是否真的最相关"。MemSifter在这个指标上的巨大优势,验证了边际效用奖励中高权重的设计效果——训练确实教会了模型把最关键的session排到第一位。

3.4 消融实验

论文对MemSifter的各个组件做了详细的消融分析(以DeepSeek V3.2为评估器):

消融配置LoCoMo 128KLongMemEvalPersonaMemPerM-V2ZH4O
MemSifter完整版35.3823.7021.1423.5748.13
去掉结果驱动奖励30.44 (-13.96%)17.12 (-27.77%)16.09 (-23.89%)20.22 (-14.21%)42.79 (-11.10%)
去掉边际效用33.83 (-4.38%)20.92 (-11.73%)18.77 (-11.21%)23.11 (-1.95%)44.27 (-8.02%)
去掉奖励塑形35.17 (-0.59%)23.26 (-1.86%)19.89 (-5.91%)23.53 (-0.18%)47.19 (-1.95%)

结果驱动奖励是最关键的组件。去掉它(退回到纯检索标签训练)后,所有数据集都出现了显著下降,LongMemEval上降幅达27.77%。这直接证明了"以终为始"的训练范式确实比传统的检索标签训练好得多。

边际效用的贡献也不小,LongMemEval上去掉它损失11.73%。没有边际效用,奖励只考虑"检索了记忆后的绝对分数",不减去基线分,这会导致模型在不需要记忆的简单问题上也获得高奖励,影响学习效率。

奖励塑形(热身阶段的辅助奖励)的影响相对最小,最大降幅5.91%。这说明模型在没有辅助引导的情况下,仅靠结果驱动奖励也能学到不错的策略,辅助奖励主要起锦上添花的作用。

3.5 效率分析

小模型做代理到底能省多少时间?

方法模型参数量延迟(ms)
BGE-M30.2B1015.05
Rearank7B7657.52
ReasonRank7B8322.83
MemSifter4B3982.53
DS-V3.2全上下文632B49873.60

在WebDancer 128K数据集上,MemSifter的延迟为3982ms,约为4秒。对比来看:

  • 比7B重排序模型(Rearank/ReasonRank)快约2倍
  • 比DeepSeek-V3.2全上下文方案快约12.5倍
  • 比BGE-M3嵌入检索慢约4倍,但质量远远超出

这个延迟在实际应用中是可以接受的。用户等4秒获得一个高质量回答,比等50秒获得一个可能被信息淹没的回答要好得多。而且4B模型的部署成本也远低于632B的模型。

3.6 训练动态

训练曲线:LoCoMo和LongMemEval上的F1分数随训练步数的变化

上图展示了训练过程中F1分数的变化。几个观察:

每个epoch都带来了显著提升。LoCoMo上,Epoch 1结束时约34分,Epoch 2约38分,Epoch 3约40分。LongMemEval上提升更加显著——从Epoch 1的约20分到Epoch 3的约32分。

epoch之间的跳跃(图中不同颜色的衔接处)对应的就是模型合并操作。合并后的模型作为新epoch的起点,通常比上一个epoch的终点稍高,说明模型合并确实有正向效果。

Rearank基线(灰色虚线)在两个数据集上都被快速超越。LoCoMo上训练不到一半epoch就超过了Rearank,LongMemEval上第一个epoch中期就超过了。


4. 与现有方法的对比分析

MemSifter在方法论上的独特性,可以从它和几类代表性方法的对比中看出:

vs 嵌入检索(BGE-M3、GemmaEmb):嵌入检索是单步匹配——把query和document各编码一次,计算相似度。MemSifter是多步推理——代理模型可以在<think>阶段进行链式推理,理解间接引用和隐含需求。代价是延迟从1秒增加到4秒,但在所有数据集上都带来了巨大的质量提升。当历史量大且问题复杂时,这个trade-off非常值得。

vs 记忆管理框架(Mem0、HippoRAG、A-MEM):这类方法在存储阶段就对信息做了加工——提取关键实体、构建知识图谱、生成记忆摘要等。问题在于,加工过程不可逆,如果加工时丢失了某个信息,后续检索时就再也找不回来。MemSifter直接操作原始会话记录,不做任何预加工,信息保真度更高。实验中MemSifter在PersonaMem上比HippoRAG高出30%(21.14 vs 16.23),在PerM-V2上比Mem0高出52%(23.57 vs 15.51)。

vs 生成式重排序(Rearank、ReasonRank):这是与MemSifter最接近的一类方法。Rearank和ReasonRank也用LLM来做检索/排序,也有一定的推理能力。区别在于:(1)它们用7B模型,MemSifter用4B模型,延迟更低;(2)它们用检索标签训练,MemSifter用实际任务结果训练。消融实验表明,去掉结果驱动奖励后MemSifter的表现接近ReasonRank的水平,这直接证明了训练范式的差异才是核心。

vs 全上下文方案(DeepSeek-V3.2、Qwen3-30B):把所有历史塞进上下文窗口,理论上信息最完整,但实际效果并不好。在ZH4O上,DS-V3.2全上下文方案得44.65分,MemSifter得48.13分。这说明"更多信息≠更好的回答"。当上下文中无关信息太多时,模型的注意力会被分散,反而不如只给它最相关的几个session。


5. 个人思考

5.1 "以终为始"的训练范式值得更广泛的应用

MemSifter最核心的贡献不是具体的架构设计,而是"用下游任务结果训练上游模块"的范式。传统的pipeline系统(检索→生成)中,每个模块用各自的指标训练——检索模块用NDCG,生成模块用BLEU/F1。但每个模块的局部最优不等于全局最优。

这个思路可以推广到很多场景:用最终SQL执行结果训练Text-to-SQL的schema选择模块;用最终代码通过率训练代码生成的plan选择模块;用最终对话满意度训练多轮对话的记忆选择模块。

当然,代价是训练成本更高(每个样本需要多次调用下游模型),但MemSifter通过Fibonacci采样等技巧把成本控制在了可接受范围内。

5.2 边际效用奖励的设计很有工程智慧

这个公式,把三个核心idea紧凑地编码在了一起:

  1. ****:只奖励真正的边际贡献,过滤掉"本来就简单"的虚假信号
  2. Fibonacci采样:用对数级的调用次数近似连续曲线,平衡精度和成本
  3. DCG权重:排名靠前的session获得更高权重,引导模型优先把最相关的排到前面

这三个设计单独看都不复杂,但组合在一起形成了一个自洽的奖励函数。尤其是Fibonacci采样的选择——它比等间隔采样更合理(前几个session的边际效用变化更大,需要更密的采样点),又比每个位置都采样节省了大量计算。

5.3 粗筛+精排的二级架构有工程启示

在实际部署中,用户的历史记录可能达到数百万token。MemSifter的BGE-M3粗筛→Qwen3-4B精排的二级架构,本质上是一个经典的recall-rerank pipeline。嵌入检索负责从百万token中快速缩小到128K的候选集,代理模型负责在候选集内精细排序。

这个架构在工程上很友好:BGE-M3是0.2B的轻量级模型,可以离线预计算嵌入;Qwen3-4B可以用vLLM等框架高效部署;两者的总延迟约5秒,远低于直接用大模型处理百万上下文。

但这里有一个隐患:论文声称粗筛的信息损失不到1%,这个结论在LoCoMo 1M上是成立的,但如果记忆库继续增长到10M、100M,嵌入检索的召回率是否还能保持?嵌入模型的语义理解能力是有限的,当记忆量极大且话题高度重叠时,粗筛阶段可能会误删关键session。未来可能需要更智能的粗筛策略,比如用小模型做两阶段粗筛。

5.4 局限性

论文自身也提到了一些局限:

训练成本:结果驱动训练需要反复调用工作LLM来计算奖励,8张H200训练3个epoch的成本不低。对于学术团队来说,这个代价是可以承受的;但如果要在更大规模的数据上训练或持续更新模型,成本可能成为瓶颈。

代理模型的上下文限制:Qwen3-4B-Thinking的上下文窗口为128K。当候选session超过128K时,必须依赖粗筛来截断。这意味着代理模型永远只能看到历史的一个子集,无法进行跨子集的全局推理。

评估器的bias:用DeepSeek V3.2或Qwen3-30B作为评估器来打分,这些模型本身的偏好会影响奖励信号。比如,如果评估器更偏好冗长的回答,训练出的代理模型可能倾向于检索更多session来支持冗长的回答,而非精准简洁的回答。论文中用了两个不同的评估器来交叉验证,一定程度上缓解了这个问题。

泛化性的边界:虽然MemSifter在未见数据集上泛化效果不错,但目前的测试场景都是"对话历史+问答"的形式。在其他记忆检索场景(如工具调用历史、代码编辑历史)中的表现尚不清楚。


6. 总结

MemSifter提出了一个巧妙的方案来解决LLM长期记忆检索问题:用4B参数的小模型做"记忆管家",先推理再检索,用大模型的实际回答质量来训练小模型。在10个数据集上全面超越了现有方法,同时推理延迟仅为全上下文方案的1/12。

这篇论文的方法论贡献大于工程贡献。"结果驱动的代理训练"这个范式,可以迁移到任何"上游选择影响下游质量"的pipeline系统中。而边际效用奖励、Fibonacci采样、课程学习、模型合并等技术细节的组合,展示了如何在RL训练中平衡效果和成本。

对于需要处理长期交互历史的AI产品——无论是个人助手、客服系统还是代码编辑器——MemSifter的架构提供了一个实用的参考。用轻量级的专用模型替代大模型做记忆管理,既降低了成本,又提高了质量。这个思路有望成为未来LLM记忆系统的标配。

学AI大模型的正确顺序,千万不要搞错了

🤔2026年AI风口已来!各行各业的AI渗透肉眼可见,超多公司要么转型做AI相关产品,要么高薪挖AI技术人才,机遇直接摆在眼前!

有往AI方向发展,或者本身有后端编程基础的朋友,直接冲AI大模型应用开发转岗超合适!

就算暂时不打算转岗,了解大模型、RAG、Prompt、Agent这些热门概念,能上手做简单项目,也绝对是求职加分王🔋

在这里插入图片描述

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料,手把手帮你快速入门!👇👇

学习路线:

✅大模型基础认知—大模型核心原理、发展历程、主流模型(GPT、文心一言等)特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架(LangChain等)实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经

以上6大模块,看似清晰好上手,实则每个部分都有扎实的核心内容需要吃透!

我把大模型的学习全流程已经整理📚好了!抓住AI时代风口,轻松解锁职业新可能,希望大家都能把握机遇,实现薪资/职业跃迁~

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

MemSifter框架:解决大模型记忆丢失的创新方案 在大型语言模型(LLM)应用中,记忆丢失是一个常见问题,尤其在多轮对话和长文档处理场景中。Transformer架构的注意力机制缺陷导致关键信息检索效率随上下文窗口延长而下降。MemSifter框架通过任务结果导向型记忆筛检方法,动态评估信息在后续任务中的实际贡献度,构建自适应记忆权重体系。该技术不仅提升关键信息召回率和任务正确率,还保持轻量级计算开销。适用于对话系统、代码生成等需要长期上下文保持的场景,是LLM记忆优化的前沿解决方案。 阅读详情

相关推荐

MemSifter:动态记忆检索提升LLM推理质量的关键技术

记忆检索是大型语言模型(LLM)实现复杂推理的基础能力,其核心在于建立信息需求与知识库的高效匹配机制。传统静态检索方法存在目标脱节、缺乏动态调整等固有缺陷,而动态记忆检索技术通过目标感知、渐进精炼和反馈闭环等创新设计,实现了检索与推理的深度协同。MemSifter作为典型解决方案,采用双通道记忆编码和检索-推理联合优化等关键技术,在医疗诊断、多跳问答等场景中展现出显著优势。该技术能提升40%以上的记忆利用率,同时降低60%的检索开销,为构建高效可靠的LLM应用提供了重要基础支撑。

weixin_42573647的博客 314

告别大模型“失忆”!人大开源MemSifter:轻量代理先思考再回忆,搞定长时记忆

它创新性地将记忆检索的繁重工作完全“外包”给轻量级代理模型,以“先思考、再检索”的核心机制,在几乎不增加主模型负担的前提下,实现了检索精度与端到端任务性能的全面突破,在8个权威LLM记忆基准测试中全面超越现有SOTA方案。MemSifter的核心设计思路,是彻底解耦“记忆检索”与“主模型推理”:用一个专门训练的轻量级代理模型,承担所有记忆筛选的繁重工作,主大模型只需要接收经过极致精炼的关键信息,专注于最终的任务推理。的斐波那契采样序列,逐步给主模型增加检索到的记忆,测试不同截断位的任务得分;

zenRRan的博客 120

银河麒麟v10-arm SEALOS离线部署k8s集群(v1.22.8)

示例 如果你想保存一个名为 "my_snapshot" 的 etcd 快照到指定的对象路径你可以使用以下命令: sealos etcd save --backupPath /root --name my_snapshot 如果文件名带时间戳:my_snapshot$(date +"%Y%m%d_%H%M%S") 会生成一个形如 20230913_143045 的时间戳。--restorePath string:指定快照恢复目录(默认为 "/opt/sealos/etcd-restore")。

xjudt的博客 3288

MemSifter:用4B小模型给大模型当“记忆管家“,检索又快又准

MemSifter提出了一种新颖的LLM记忆检索方案,通过训练4B参数的代理模型来优化大模型的记忆访问效率。该方法采用"先推理后检索"的流程,结合强化学习训练策略,以任务回答质量作为奖励信号指导代理模型优化。实验表明,相比全上下文检索,MemSifter将延迟降低12倍(4秒 vs 50秒),同时提升回答质量。关键创新包括:1)基于边际效用的奖励函数设计;2)动态课程学习策略;3)轻量级粗筛与精细排序结合的混合检索架构。该方法为LLM的长期记忆管理提供了高效实用的解决方案。

狮子座明仔知识集散场 255

【Python爬虫】爬取企业专利信息

本来是个美好的周末的,但是周五晚上领导给了一个公司名称的Excel,让把这些公司的专利信息爬取下来。本文记录了爬取企业专利信息的心酸过程。码字不易,喜欢请点赞!!! 一、找寻目标网页 在接到这个任务之后,我的内心是拒绝的。但是又不能不干。因此首先我需要先找到有公司专利信息的地方。在一番查找和问了问朋友之后,我知道中国专利网、国家知识产权网、Incopat、天眼查、企查查这些网站上面都有企业的专利...

Asher117的博客 2万+

CloudCompare如何进行二次开发?

CloudCompare源代码编译成功后,即可进行二次开发,可以通过修改源码或者制作插件实现二次开发。本文二次开发采用修改CloudCompare的源代码的方式,分别修改mainwindow.ui、mainwindow.h、mainwindow.cpp,实现扩展功能,克隆选中的点云。

【cacrle】的博客 5331

阿里开源两款4B小模型:手机电脑都能用,比GPT-4.1-nano还强

【摘要】阿里通义千问开源两款4B小模型,兼顾端侧部署与卓越性能,推理与Agent能力超越同级别闭源模型,推动AI端侧智能化进程。

欢迎来到运通链达的官方博客!我们深度探讨人工智能技术与应用,贯彻科技向善理念,推动科技进步与社会福祉和谐共生。 2261

SAP CO实战:如何用KKA2/CJ88结果分析码搞定项目收入成本匹配(附真实案例)

本文深入解析了SAP CO模块中结果分析码KKA2/CJ88的核心应用,通过真实案例详细阐述了如何在成本波动剧烈的销售型项目中,运用结果分析实现收入与成本的精准匹配。文章重点拆解了不同结果分析方法的适用场景与财务影响,并提供了从配置、操作到问题排查的完整实战指南,帮助财务顾问提升项目财务管理能力。

qsc9012345的博客 608

告别大模型“失忆“,用4B模型碾压千亿级成本!8项权威测试全面登顶!

* 对话轮次一多,模型就彻底“失忆”,完全忘了前面约定的关键信息; * 想让模型记住历史交互,要么检索出来的内容全是无效噪音,根本支撑不了推理; * 要么只能硬上超大上下文窗口的千亿级模型,推理成本直接翻倍,延迟慢到让人无法忍受。

m0_65555479的博客 405

Python爬虫博客:爬取碳排放交易数据——使用最新技术的完整实现

通过上述方法,我们可以构建一个高效的爬虫,爬取碳排放交易市场的数据并进行分析。这个项目不仅展示了如何处理静态和动态网页,还提供了如何存储数据、分析数据和可视化结果的技巧。随着爬虫技术的不断进步,我们可以进一步提升爬取效率和数据分析能力。如果你希望更深入了解如何进行数据挖掘和机器学习分析,可以尝试将碳排放数据与其他经济数据结合,利用机器学习模型进行趋势预测或决策支持。

2201_76125261的博客 352

基于深度学习的异常检测实战:从自编码器到GAN

本文通过一个完整的实战案例,展示了如何使用自编码器和GAN进行异常检测。我们详细介绍了数据准备、模型定义、训练和评估的步骤,并提供了可运行的代码。希望本文能为读者在实际项目中应用异常检测技术提供实用的指导和启发。

Programming Talk 242

MemSifter:4B轻量模型解决大模型长上下文记忆难题

在大型语言模型(LLM)应用中,长上下文处理是核心挑战之一。传统方案依赖扩展模型参数量或上下文窗口,导致计算成本飙升。MemSifter创新性地采用双层架构设计,通过4B参数的代理模型实现智能记忆筛选,将记忆检索与主模型推理解耦。该技术基于动态上下文窗口优化和强化学习训练范式,在WebDancer等基准测试中,以1/12的延迟实现超越千亿参数模型的性能。典型应用场景包括跨文档研究助手和个性化对话系统,显著提升信息检索准确率同时降低计算开销。

weixin_31499265的博客 317

RK3588开发笔记-MIPI-CSI接口视频解码芯片XS9922B调试

Rockchip RK3588 是一款高性能的处理器,支持多种摄像头接口,包括 MIPI(Mobile Industry Processor Interface)接口。MIPI是一种用于移动设备和嵌入式系统中的摄像头、显示器和其他传感器设备的串行接口标准。MIPI是MIPI联盟发起的为移动应用处理器制定的开放标准。CSI-2(Camera Serial Interface 2)是MIPI 联盟定义的另一种高速接口,主要用于摄像模组和处理器之间的连接。

flypig has a dream! 6863

大模型记忆工程:告别“失忆”,构建持续智能的基石

随着大模型与智能体(Agent)技术的飞速发展,我们正从追求单次对话的惊艳表现,迈向构建具备长期、持续交互能力的智能系统。

DEVELOPERAA的博客 315

uniapp [安卓苹果App端] - 实现APP开发后台保活+息屏后台持续运行效果,强制后台保活手机黑屏后进程存活后台保持网络连接或持续定位等功能提供支持(app后台运行休眠仍然可以确保一直运行)

uniapp APP开发后台保活,Uniapp-APP后台保活插件(安卓苹果ios后台保活)保证应用在后台继续运行,uniapp实现app保活 保后台运行 避免系统主动杀进程,如何让安卓APP一直在后台运行?uniapp 安卓 APP 后台持续运行(保活)iOS App后台保活,Android 后台运行白名单实现保活,保活息屏后台运行,uniapp后台保活,uniapp熄屏 后台运行,Android/ios进程保活/息屏后后台保持定位、网络运行,uniapp在android ios保活,挂后台可运行,安卓A

🏆 前端领域优质创作者 1万+

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

大模型记忆工程:告别“秒忘”,构建持续智能的基石!

大模型记忆工程正成为AI发展的重要方向,旨在解决智能体长期交互中的记忆问题。其核心在于构建可持久化、高效检索的外部记忆系统,包括记忆提炼、图结构存储、智能检索和动态更新等关键技术。该技术正从理论研究向企业级应用落地,如多租户隔离、结构化记忆等实践。尽管面临评估体系、信息一致性等挑战,记忆工程将推动AI从工具向伙伴转变,在个性化服务等领域发挥更大作用。同时,大模型应用技术如提示词工程、RAG、微调等学习路线为从业者提供了系统化进阶路径。随着2025年Agent元年的到来,具备记忆能力的AI将开启应用新篇章。

2401_84204413的博客 517

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

大模型记忆工程:架构设计与企业级实践

记忆工程是提升大模型持续学习能力的关键技术,通过构建外部持久化记忆系统解决AI的'金鱼式记忆'问题。其核心原理包含记忆生成筛选、向量数据库存储和图结构增强检索三大模块,采用多租户隔离和强化学习更新等机制确保企业级可用性。该技术显著提升任务完成率40%以上,在金融客服、个性化教育等场景展现价值。典型实现依赖MemGPT等开源工具,需持续评估准确性、及时性等维度。记忆工程正推动AI从单次对话向长期智能协作演进,是LLM落地的重要基础设施。

weixin_33698043的博客 413

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

2026年03月06日热门论文

当前AI研究呈现"理论实践并重、技术深耕下沉"的发展态势,聚焦视频生成、大模型优化、多模态融合等六大方向。视频生成领域突破长时序连贯性瓶颈,如Helios实现分钟级实时合成;大模型优化聚焦记忆检索与参数修剪,提升效率与专业性;多模态技术向安全评估与3D理解延伸;强化学习转向异构Agent协作与专业场景适配;目标检测突破开放词汇难题;基准测试则向结构化推理与长期维护能力评估拓展。整体呈现技术纵深发展与场景精准落地的双重特征。

ld326的专栏 711

4B小模型也能释放“超能量” | BLIP-3扛起{大模型轻量化}大旗,性能比肩GPT-4V!

“ 很多朋友们可能没听过salesforce ai research,但是你可能知道它们所作的一些工作-BLIP-2、InstructionBLIP、BLIP Diffusion、X-InstructBLIP等等。该机构与众不同的是,当大家都在热火朝天的拼一些超大的多模态大模型的性能的时候,它却在尝试着推出一些很轻量的多模态大模型,而它的目标是比肩或者超越比它大的MLLM。BLIP-2是一个开创性的工作,与当今更现代的LMM相比,BLIP-2中使用的数据缺乏达到竞争性能所需的规模、质量和多样性。此外,BLI

m0_59163425的博客 2616

本地大模型运行、训练、微调全搞定,4GB RAM轻松运行4B模型!

Unsloth Studio是一款功能全面的本地AI工作台,集成了大模型下载、运行、训练、微调、导出及数据集处理等功能。支持GGUF和safetensors格式模型,兼容多系统平台,提供数据集整理、训练可视化、模型对比等工具。亮点包括统一模型管理入口、支持Tool Calling和代码执行、数据预处理工作流以及训练过程监控和模型导出能力。该工具适合需要本地运行、微调并部署模型的开发者,尤其对研究本地Agent和工具调用的用户具有吸引力。目前处于Beta阶段,安装过程较为耗时但操作简便。

Trb201013的博客 454

从LoCoMo到LongMemEval:EverMemOS基准测试全攻略

EverMemOS是一款开源的企业级智能记忆系统,旨在构建永不遗忘的AI记忆,使每次对话都建立在先前理解的基础上。本文将全面介绍如何使用EverMemOS的评估框架对LoCoMo和LongMemEval等主流基准测试进行测试,帮助您快速掌握内存系统性能评估的完整流程。 ## 📚 基准测试概述 EverMemOS评估框架支持多种行业领先的内存系统评估,包括Mem0、MemOS、Zep和MemU

gitblog_00045的博客 786

4B模型全量微调实战:从数据准备到生产部署的AI辅助开发指南

基于火山引擎豆包大模型,从零搭建一个实时语音通话应用。它不是简单的问答,而是需要你亲手打通 ASR(语音识别)→ LLM(大脑思考)→ TTS(语音合成)的完整 WebSocket 链路。对于想要掌握 AI 原生应用架构的同学来说,这是个绝佳的练手项目。架构理解:掌握实时语音应用的完整技术链路(ASR→LLM→TTS)技能提升:学会申请、配置与调用火山引擎AI服务定制能力:通过代码修改自定义角色性格与音色,实现“从使用到创造”从0到1构建生产级别应用,脱离Demo,点击打开。

2600_94959997的博客 398

4B模型跑Agent:开源小模型本地部署与工具调用实战指南

模型量化技术让大语言模型在有限硬件上高效运行,而工具调用(Function Calling)则是智能体(Agent)完成实际任务的核心能力。传统观念认为,只有数十亿乃至千亿参数的模型才能驾驭复杂任务规划与多轮交互,但开源社区的最新实践正在打破这一门槛。通过精细的指令微调、分层记忆设计和宽松JSON解析,4B参数级别的模型也能稳定驱动完整的Agent闭环——从任务拆解、工具选择到结果生成,全程可本地部署。这一技术路线最大的价值在于:开发者无需依赖云端API,仅凭4GB显存显卡或树莓派4B级别的小主机,即可搭建

weixin_32597009的博客 269

Agent 记忆长文总结:精选 23 篇记忆典型论文,帮你构建 Agent Memory 全局观

3 月 26 号我写过一篇文章,把 150+ 位研究者联合写的 Agent 记忆综述分析了一下。那篇侧重的是综述本身的分类框架和全局视角。 但读完之后我一直觉得不够。框架看懂了,具体每篇论文到底在解决什么问题、方法细节是什么、效果怎么样,光看综述里的一两句引用是看不清楚的。

Python_cocola的博客 756

2026开源AI 记忆框架全景:Mem0、Zep、LangMem、MemOS、TiMem深度横评

AI Agent 进入长期运行阶段,记忆层成为应用架构的核心组件。本文系统梳理 2026 年主流的五个开源记忆框架,从四个维度深度对比,帮助开发者做出合适的技术选型。

RMSXY的博客 2194

智能体上下文:SimpleMem、Nia、MemSkill、MemoV、DeepMiner、PlugMem

SimpleMem、Nia、Nocturne、MemSkill、MemoV、DeepMiner、PlugMem

lonelymanontheway的博客 707
上一篇: M-RAG:让你的RAG更快、更强、更高效
下一篇: 突破350万字长文本限制(非常详细),MemAgent 核心原理从入门到精通,收藏这一篇就够了!
Python_金钱豹
博客等级 码龄5年 1万+粉丝 2835原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值