新微调技术能否解决模型‘遗忘症’?

Mythos模型技术解析:长程推理、符号求解与自主攻防范式 大语言模型在网络安全领域的应用正从辅助工具迈向自主执行主体,其核心跃迁体现在长程因果建模、高精度符号操作与状态保真推理三大基础能力上。传统LLM受限于‘三步遗忘症’和概率采样机制,在漏洞利用链构建、内存地址计算、多层抽象系统穿透等任务中表现脆弱;而以Mythos为代表的前沿模型通过内置SAT求解器、分层状态缓存与目标导向强化学习,实现了从‘大概率正确’到‘确定性正确’的跨越。这种能力升级不仅重塑SWE-bench Pro等代码基准的评估意义,更推动安全实践从人工驱动转向语义级工具编排与韧性作战规划。本文聚焦 阅读详情

大语言模型微调时易出现‘灾难性遗忘’问题,麻省理工学院等机构研究人员推出自蒸馏微调(SDFT)新技术,旨在解决这一问题,但也面临一些挑战。


‘遗忘症’困扰模型微调

大语言模型在为新任务微调时,常丧失之前习得技能,即‘灾难性遗忘’。许多组织将新任务隔离到单独模型或适配器,但会增加成本和管理复杂度,还需不断重新测试。

SDFT技术登场

自蒸馏微调(SDFT)新技术应运而生。它利用上下文学习,让模型在学习新任务时保留先前能力。实验显示,它能让模型积累新技能且不降低性能,优于监督微调(SFT)。

解决持续学习难题

多数企业人工智能系统部署后不变,新微调易致灾难性遗忘。强化学习虽能减少遗忘,但需明确奖励函数。SDFT不依赖奖励函数,利用上下文学习生成学习信号。

面临挑战待克服

尽管SDFT有优势,但面临训练时间长、计算能力需求大等问题,还依赖强大基础模型。此外,它不能消除回归测试需求,操作复杂性转移到管理深度上。

应用前景待观察

分析师认为,SDFT避免了强化学习的一些问题,但应用到企业还需时间。它可能先在内部开发工具和通用助理中试验,而非受监管领域。

编辑观点:SDFT技术为解决模型‘遗忘症’带来希望,但挑战也不容忽视。未来能否广泛应用,关键在于能否克服现有难题,提升其在企业中的实用性。

嵌套学习:AI记忆革命与持续学习新范式 注意力机制作为现代深度学习的核心组件,通过动态权重分配实现了对输入数据的差异化处理。Transformer架构将这一原理发挥到极致,但其固定参数机制导致模型缺乏持续学习能力。嵌套学习(Nested Learning)创新性地引入多时间尺度记忆系统,借鉴人类大脑的海马体-新皮质协作机制,通过可学习的联想记忆和差异化更新规则,实现了知识的自然沉淀。这种架构在PG-19长文本任务中降低23%困惑度,并将灾难性遗忘率从78%降至9%,为AGI发展提供了关键技术路径。MIRAS框架和HOPE架构作为典型实现,展示了模 阅读详情

相关推荐

VLA与世界模型融合:具身智能的数据瓶颈与工程破局

具身智能正从算法突破迈向真实落地,其核心挑战已从模型结构转向数据基础设施。VLA(视觉-语言-动作)模型需端到端理解物理任务,而世界模型则致力于构建可泛化的物理内在表征——二者协同的本质,是让机器人具备因果推理能力而非简单模仿。然而,高质量具身数据的稀缺性,尤其是多传感器同步的时序数据、高保真遥操作数据及物理一致的仿真资产,已成为制约泛化性、鲁棒性与部署效率的共性瓶颈。当前技术演进正围绕‘用更少真实数据撬动更高性能’展开:通过世界模型压缩物理状态至latent space提升泛化,借助生成式AI构建‘数据表

weixin_36250534的博客 432

信息检索(十二):What Are You Token About? Dense Retrieval as Distributions Over the Vocabulary

双编码器现在是密集检索的主导架构。然而,我们对它们如何表示文本以及为什么这会带来良好的性能知之甚少。在这项工作中,我们通过词汇分布阐明了这个问题。我们建议通过将双编码器产生的向量表示投影到模型的词汇空间中来解释它们。我们表明,所得的投影包含丰富的语义信息,并在它们和稀疏检索之间建立联系。我们发现这种观点可以为密集检索器的一些失败案例提供解释。例如,我们观察到模型无法处理尾部实体与令牌分布忘记这些实体的一些令牌的趋势相关。

zhuzaiyebol的博客 1148

VLA模型记忆模块:让机器人真正记住任务的底层原理与工程实践

具身智能的核心挑战在于如何让AI系统在动态环境中持续理解、推理并执行多步任务——这本质上是‘时间维度上的认知建模’问题。视觉-语言-动作(VLA)模型虽能端到端映射感知到动作,但缺乏状态维持能力,导致长时程任务中频繁出现重复操作、顺序错乱与上下文遗忘。记忆模块正是为解决这一断层而生的关键组件,它通过状态压缩、时序关联与按需检索,将零散交互升华为连贯事件流。当前主流技术路线包括显式外部记忆库(高可解释性)、隐式循环状态(低延迟端到端)及混合式层级记忆(兼顾精度与泛化),其选型直接受任务时长、硬件约束与跨任务需

weixin_33738982的博客 399

谷歌新论文:为什么当前 AI 无法在训练后继续学习?

从这个角度看,能“吃一堑长一智”的 AI 也许离我们就不远了更多的性能开销,例如额外的 MLP 运算和实时梯度计算更多的内存占用,比如 HOPE 需要存储“优化器状态” 和管理状态大小HOPE 要求参数在Forward过程中动态变化 ,这种“自我修改”的代码实现难度大,且难以利用现有的底层 Kernel 优化多嵌套下的梯度流管理和独立问题·····最后,本文解读主要参考 Gemini 分析。

恋猫de小郭的博客 1478

小米系统工程、GPT-5.5级模型与垂类Agent落地实战

垂类Agent和大模型应用正从概念走向规模化落地,其核心在于将通用AI能力与垂直领域知识、硬件协同机制深度耦合。技术原理上,依赖长上下文优化、工具调用确定性编排与端云状态流同步等关键突破;技术价值体现在首次解决率提升、人力成本下降与用户注意力留存增强;典型应用场景覆盖游戏智能客服、设备跨端协同、金融/医疗决策辅助等高价值闭环;而小米的芯片级协同架构、GPT-5.5级推理模型集群能力水位、懂游宝式垂类Agent,共同构成了当前中国科技产业系统性升级的三大支点。

weixin_34343308的博客 340

自己动手写CPU(1)五级流水线及CPU第一条指令ori

自己动手写CPU(1)五级流水线及CPU第一条指令ori 动机 不知为何研一的自由时间突然多起来,可能人一闲下来就容易焦虑吧,hhhhhh。正好之前看到一本《自己动手写CPU》,就按照此书从头实做一遍MIPS指令集的CPU,也当做对大学课程的总结。之前看龙芯杯比赛的代码震惊到我了,想想那堆大佬本科在搞这东西而我本科在瓜瓜地刷分,感叹人之间的差距真的好大。痛定思痛,还是先动手做起来这才能假意安慰自己,我好像也不错。闲言少叙,让我们开始吧! 由于作者提供了各章实现的具体代码,所以该系列博客主要记录我过程中有哪些

谦豫 7084

Granite TimeSeries FlowState R1模型解析:深入其内部循环神经网络结构

本文介绍了Granite TimeSeries FlowState R1时间序列预测模型的核心循环神经网络架构。该模型通过增强的门控循环单元与“流状态”设计,有效捕捉时序数据的长期依赖与动态模式。用户可在星图GPU平台上自动化部署Granite TimeSeries FlowState R1 - 时间序列预测模型v1.0镜像,快速构建预测环境,典型应用于金融、销售等领域的趋势分析与需求预测场景。

weixin_36304957的博客 172

OpencvSharp学习笔记(一):图片的打开,保存灰度化,保存

近来萌生了学习OpenCv的想法,经过度娘得知老夫会的C#不能直接用OpenCv,只能用他的儿子OpenCvSharp与EmguCV,奈何奈何,这两玩意的资料少的出奇,只能慢慢的摸索了,EmguCV先不说,老夫找到了牛批的资料,先摸索OpencvSharp吧 首先打开VS通过Nuget安装 选择版本后点击安装就OK了. 安装完成后,引用里面就有以下的玩意儿了… 废话不多说了,在写程序前先 using OpenCvSharp 图片打开,灰度化,保存代码如下: static void Main(strin

猥琐de专注 7188

张吕敏长视频生成新技术:20秒视频历史压缩成5000个Token,消费级显卡也能跑

斯坦福大学、麻省理工学院(MIT)、卡内基梅隆大学(CMU)和香港科技大学(HKUST)的研究团队提出了一种全新的神经网络结构,专门用于将长视频压缩成短小的上下文。AI绘画界无人不知的张吕敏发新作了。张吕敏(Lvmin Zhang) 是斯坦福计算机科学博士生,AI图像生成领域顶级研究者,业内誉为敏神。他本科毕业于苏州大学,早在大一就发表AI绘画相关论文,本科期间多篇顶会一作。

2501_94005722的博客 953

Word公式批量转MathType终极指南:解决omml2mml.xsl缺失与格式调整难题

本文提供Word公式批量转MathType的终极解决方案,重点解决常见的omml2mml.xsl文件缺失问题,并详细讲解批量转换与格式调整技巧。通过补全文件路径、分批次转换及样式预设等方法,大幅提升学术论文公式编辑效率,适用于Office 2016及以上版本。

weixin_28419039的博客 1355

CMOS传输门(互补开关)实战指南 | 设计优化 + 常见问题解析

本文深入解析CMOS传输门(互补开关)的设计优化与常见问题,涵盖导通特性、版图设计、高频应用及混合信号设计等关键领域。通过实测数据和优化技巧,帮助工程师解决衬底连接、信号完整性等实际问题,提升数字和模拟混合信号设计的效率与可靠性。

weixin_29229989的博客 165

深度学习新范式:嵌套学习与联想记忆系统解析

联想记忆是机器学习中的基础概念,通过键值关联机制实现信息存储与检索。其核心原理在于建立输入特征与目标输出的动态映射关系,这种机制在注意力机制和优化算法中都有重要应用。从技术价值看,统一的联想记忆框架能有效解决模型持续学习中的灾难性遗忘问题,提升知识保留能力。在自然语言处理和多模态学习等场景中,这种记忆系统展现出独特优势。谷歌研究院提出的嵌套学习理论创新性地将架构设计与优化算法统一为联想记忆系统,其Hope架构通过多尺度更新机制实现了类似人脑的连续记忆功能,为克服深度学习模型的'健忘症'提供了新思路。

weixin_34081595的博客 448

在Tricore上移植μC/OS-III——1.1 AURIX Development Studio的使用

本文主要介绍AURIX Development Studio软件的安装和使用方法。 英飞凌针对Tricore系列单片机推出了一款免费的软件——AURIX™ Development Studio,集成了iLLD库,内置Tasking compiler和Tasking Debugger,但这两个模块只能用于非商业用途,可供学习和试用。iLLD库是英飞凌为TC2XX和TC3XX Tricore系列单片机提供的底层驱动库,有完善的使用手册,和较好的移植性。 可从下面的链接获取软件安装包,软件安装好后,新建工程时会自

weixin_42967006的博客 2291

Attention is all you need 2.0 来了!Google 新论文 Nested Learning 登陆 NeurIPS 2025,HOPE 模块打破记忆局限!

学习与记忆的明确界定:遵循神经心理学定义,记忆是输入引发的神经更新,学习是获取有效、有用记忆的过程,二者不可等同。关联记忆的数学表述:关联记忆是映射“键(K)”到“值(V)”的算子MK→VM: K \to VMK→VM∗argminML‾MK;V其中L‾⋅;⋅\cdot)L⋅;⋅。

2140

verilog扰码器设计及仿真

本设计使用verilog语言实现扰码器设计与仿真 本工程在quartusII下实现并在modelsim下进行仿真 设计中包括加扰器和解扰器模块、仿真测试模块等. 下面是工程截图: 下面是modelsim仿真截图: 仿真代码部分可以自己设计更改,输出也会不同。 ...

QQ_778132974的博客 1727

从零开始学习CANoe(三)—— 系统变量的创建和使用

从零开始学习CANoe(三)—— 系统变量的创建和使用

蚂蚁小兵 1万+

DeepMind颠覆性创新!嵌套学习框架挑战Transformer,解决AI“灾难性遗忘”问题!

谷歌DeepMind提出嵌套学习框架,借鉴人类联想记忆解决AI"灾难性遗忘"问题。该框架使优化器与架构互为上下文、协同进化,通过不同更新频率的嵌套系统设计,让AI能将短期经验转化为长期知识。实验表明,该技术在持续学习和长上下文处理方面显著超越现有模型,被视作Transformer之后的重要突破,可能真正开启AGI时代。

2401_85325557的博客 1849

LLaMA-Factory微调教程5:多模态VLM模型对话

视觉-语言模型(VLM)概述与应用 视觉-语言模型(VLM)是一类结合视觉和语言信息的人工智能模型,旨在实现跨模态的理解与交互。其核心目标包括跨模态理解和生成能力,关键技术涉及模态表示与映射、多模态预训练以及跨模态交互机制。 典型VLM模型包括: CLIP:通过对比学习实现图像和文本的向量空间对齐 BLIP:结合自监督和弱监督学习提升语义对齐 ALBEF:基于BERT结构扩展跨模态注意力 DALL-E系列:基于文本生成图像的生成式模型 CLIP4Clip:扩展CLIP到视频领域 VLM在图像/视频检索、视觉

Cachel Wood的博客 1115

文心大模型4.0中文场景能力深度解析:结构化任务与长文本稳定性实战

大语言模型(LLM)的真正价值不在于通用榜单分数,而在于其在真实产业场景中的交付确定性。中文NLP任务具有独特语义结构、公文逻辑与长文本依赖特征,传统英文基准如MMLU存在显著偏置;而长上下文稳定性、垂类知识注入、国产化部署适配等工程能力,才是企业级AI落地的核心门槛。文心大模型4.0通过双引擎架构、动态分块重排序、领域Adapter微调及KV Cache压缩算法,在中文结构化处理、法律/金融/制造等垂直场景中展现出高鲁棒性与低延迟响应能力。尤其在政务审批、设备手册问答、医保政策解析等典型中文产业任务中,其

weixin_34320724的博客 406

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

LFM2-2.6B-GGUF效果展示:8192 tokens长上下文下的多轮技术对话实录

本文介绍了如何在星图GPU平台上自动化部署由Liquid AI公司开发的LFM2-2.6B-GGUF大语言模型镜像,实现高效的多轮技术对话。该模型支持8192 tokens长上下文处理,适用于本地开发环境的技术问答、编程辅导等场景,显著提升技术问题解决效率。

weixin_34598113的博客 608

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Meixiong Niannian画图引擎模型版本管理:MLflow集成与效果回溯系统

本文介绍了如何在星图GPU平台上自动化部署🎨 Meixiong Niannian画图引擎镜像,并集成MLflow构建模型版本管理与效果回溯系统。该系统能自动记录每次AI图片生成的完整参数与结果,有效解决了创作过程中参数遗忘、效果不可复现等痛点,极大地提升了个人创作与团队协作的效率。

weixin_30923011的博客 312

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

从词向量到多模态:大型语言模型的认知演进之路

大型语言模型(LLM)已超越传统文本处理范畴,成为构建世界内部模型的关键技术。其核心原理源于分布假说与自注意力机制,通过高维向量空间隐式编码语义关系和常识逻辑;技术价值体现在从Word2Vec的语义类比、Transformer的长程建模,到GPT系列的上下文学习与涌现能力;广泛应用于智能客服、代码生成、教育辅助等需理解意图与推理的场景。本文聚焦LLM如何以统计方式逼近人类认知结构,解析从‘预测下一个词’到‘扮演世界角色’的本质跃迁,并融入‘预训练’‘自注意力’两大热词,揭示语言即世界压缩映射的技术本质。

liangqilang的专栏 502

[特殊字符] DeepSeek-V4 深度解析:从“万能模型”到“工程级AI操作系统”的演进

摘要: DeepSeek-V4 通过百万级上下文窗口、可靠Agent工作流和全面开源策略,实现了从“问答模型”向“AI操作系统”的范式升级。其技术突破体现在长文本结构化处理、工程任务全流程执行及企业级可信部署,推动AI应用从知识检索转向复杂问题自主解决。针对不同场景,提供Pro/Flash等版本适配私有化部署、快速开发和研究微调需求,标志着AI进入主动化、系统化的新阶段。

weixin_44626085的博客 235

Transformer已死?DeepMind正在押注另一条AGI路线

借鉴人类联想记忆,嵌套学习让AI在运行中构建抽象结构,超越Transformer的局限。谷歌团队强调:优化器与架构互为上下文,协同进化才能实现真正持续学习。这篇论文或成经典,开启AI从被动训练到主动进化的大门。「灾难性遗忘」,一个困扰了AI界几十年的幽灵,这一次或许被彻底解决了。过去一年,AI突飞猛进,绝非夸张的修辞,仅谷歌DeepMind一年的成就,就让人眼花缭乱:但如果DeepMind要选2025年最重要的研究或产品,那最近火爆的嵌套学习「Nested Learning」必有一席之地。

2501_94005722的博客 643
上一篇: iOS 26更新:跨系统迁移与欧盟新规适配
下一篇: Threads“Dear Algo”功能美国上线
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值