遗忘已久的空间!

ACL 2025 | 大模型遗忘之后患上失语症?通过学习新知识实现旧知识遗忘 徐浩铭(浙江大学)、赵宁远(厦门大学)、杨理明(清华大学)、赵森栋(哈尔滨工业大学)、邓淑敏(新加坡国立大学)、王梦如(浙江大学)、Bryan Hooi(新加坡国立大学)、Nay Oo(新加坡国立大学)、陈华钧(浙江大学)、张宁豫(浙江大学)概率跷跷板效应:基于反向优化的方法(如梯度上升 GA 和负偏好优化 NPO)在抑制目标词元概率的同时,未能有效指导模型进行合理的知识重构,反而可能导致词汇塌陷(流畅性降低)和上下文不连贯(相关性减弱)的问题。总有一些你不认识的人,知道你想知道的东西。 阅读详情
已经好久没来优快云了,不是不想来,真的是没时间,没心思来!
问我这段时间在忙些什么呢?呵呵,无可奉告!不是有什么不能告诉你的,而是真的没有东西可以说出来!也就是,这段时间,我等于什么都没做,时间浪费了好多!

在公司也快一年了,可这么长时间,说在技术方面学习到不少东西吧,我还是感觉什么都不会,用C做程序,搞得我觉得自己一点长进也没!说什么都没学到吧,也不对,因为总觉得在程序设计方面,项目工程的整体看法上,有了不同的观点!觉得以前真的没见过大项目!这就是我所以迷茫的地方啊,真不知道自己到底在这一年的时间里面,长了哪些知识!

其实我是个偏重于技术方面的人,我喜欢搞纯技术的东西,研究些新玩意什么的!但是在公司工作这么长时间,什么新东西都没有学到!而公司所用的技术,机密性的我又接触不到,用到的东西,都是别人封装好的接口,长不了水平的!另外学习别的知道吧,又搞得没时间,连个LINUX到现在还是同一年前一样的水平,只会装系统,连文本界面都控制不了!什么命令都不会!而实际应用,更是连有都没有!

去年还在为学习.NET还是JAVA费过一段神,现在倒省事,两个都没有学!连用了比较久的C++都扔掉了,每天就看着C程序,头晕眼花的!

唉,苦差事多啊!哪个人都没有好日子过!真不知道为什么我每天看到的别人都那么轻松的样子是怎么来的!

算了,不再发这些没用的牢骚了!好久没来,这里变了好多哦!真的应该常回来看看啊!
双曲几何与欧氏空间中的机器遗忘:多模态模型的知识编辑对比 机器遗忘是机器学习领域的关键技术,旨在使模型能够有选择性地“忘记”特定数据或概念,以满足数据隐私法规(如GDPR)和消除模型偏见的需求。其核心原理是通过调整模型参数,精准切断特定概念在模型表征中的关联链路,而不影响其他知识的完整性。在技术实现上,多模态对比学习模型(如CLIP和MERU)将图像和文本嵌入到共享的语义空间进行学习。欧氏空间(如CLIP所用)具有均匀性,但容量有限;而双曲空间(如MERU所用)因其指数级增长的容量和天然适合表征层次化数据的特性,为机器遗忘提供了结构化、可解释的几何基础。通过对比两 阅读详情

相关推荐

遗忘的艺术:如何让大语言模型“选择性失忆”?

在传统的“机器遗忘”(machine unlearning)研究中,目标是让模型忘记某些训练数据的影响,比如删除某个用户的隐私信息。而“技能遗忘”(skill unlearning)则更进一步:我们不只是要删除数据的影响,而是要让模型“不会”某项技能。想象一下,如果一个模型能写出完美的Python代码,但你不希望它再具备这个能力(比如出于安全或合规考虑),你希望它“忘记”如何写代码,但仍然能写诗、解题、讲笑话。这就是技能遗忘的目标。

步子哥的博客 816

深度学习之灾难性遗忘问题

神经网络之灾难性遗忘问题 摘要 1. 什么是灾难性遗忘 2. 为什么出现灾难性遗忘 3. 现有的解决方法综述 4. 例子与程序 5. 结语

昔风不起,唯有努力生存! 2万+

卡尔曼滤波04_1(遗忘滤波)

卡尔曼滤波041遗忘滤波(渐消记忆滤波) 1遗忘滤波(渐消记忆滤波) 遗忘滤波的功能是通过减小修改系统噪声和观测噪声的权重来减少历史信息的权重,相对提高新信息的权重,遗忘滤波的状态空间模型可以表示为: s为遗忘因子,s的取值越大遗忘速度就越大。k代表历元数,k=0,1,2,3…,k的取值越小说明历元就越靠前,噪声的放大指数就越大,以前的观测值就越不可靠。将新的噪声模型带入卡尔曼滤波公式可得: 对于上面第二三五个方程通过分别左乘一个系数可以得到: 由此这三个式子可以转换为: 综上可得遗忘滤波公式

taosanzang6121的博客 2263

看见的,看不见了;记住的,遗忘了;看不见的,看见了;遗忘的,记住了。

很久了,看到燕子的QQ签名里始终是这句话:看见的,看不见了;记住的,遗忘了;看不见的,看见了;遗忘的,记住了。所以去找了找出处, 原来是来自几米的《月亮忘记了》。下面还有一些:生命中,不断地有人离开或进入。于是,看见的,看不见了,记住的,遗忘了。生命中,不断的有得到和失落。于是,看不见的,看见了,遗忘的,记住了。然而,看不见的,是不是就等于不存在? 记住的,是不是永远不会消失呢

disikexing 的专栏 8648

AI遗忘技术:从知识解耦到可验证遗忘的工程实践

AI遗忘并非简单删除数据,而是涉及模型参数、推理过程与外部知识库协同调控的系统性能力。其核心原理是打破知识在注意力权重、隐式表征和上下文关联中的强耦合,实现可控的知识解耦与定向抑制。该技术具有显著的合规价值(如GDPR被遗忘权落地)和工程安全性(避免RAG残留泄露、微调知识固化),广泛应用于金融风控、政务问答、医疗辅助等对数据时效性与隐私敏感度要求极高的场景。本文聚焦‘知识解耦’与‘可验证遗忘’两大关键热词,提供影响函数修正、检索门控、渐进蒸馏三种可直接嵌入MLOps的落地路径。

weixin_30251829的博客 320

开关电源|控制方式PWM、PFM、混合调制

频率调制器根据误差放大器的输出大小来改变方波信号的频率,若负载电流突然增加,输出电压 Vout随之下降,反馈电压 VFB 减小,此时误 差放大器的输出增高,频率调制器输出方波信号的频率增大,增加电感充电次数;若负载电流突然增加,输出电压Vom随之下降,反馈电压Vr减小,此时误差放大器的输出增高,PWM比较器输出方波信号的占空比增大,增加电感充电时间:若负载电流突然下降,PWM比较器输出方波信号的占空比减小,减少电感充电时间,从而稳定输出电压。它是在固定开关频率下,通过改变脉冲宽度来调节占空比的。

weixin_46969363的博客 1万+

技术研究 | 推荐系统训练后多分类属性遗忘:双组分损失优化与效用空间正则设计

本文聚焦于模型训练后的属性遗忘,将基于双组分损失优化的属性遗忘框架从二分类任务推广至多分类场景,显著提升了该框架在实际应用中的普适性。

GentelAi的博客 1211

Debian下Rust环境极速安装指南:国内镜像+避坑配置(附清华/中科大源对比)

本文详细介绍了在Debian系统上快速安装和配置Rust开发环境的完整指南。针对国内网络环境,重点对比评测了清华大学、中国科学技术大学等主流镜像源,提供了详细的安装配置步骤、Cargo优化技巧以及常见问题排查方案,帮助开发者显著提升依赖下载和编译效率。

s8t9u0v1w的博客 1162

2024机器遗忘(Machine Unlearning)技术分类-思维导图

本文介绍了机器遗忘技术的分类、优缺点、威胁、攻击、防御机制以及评估方法。首先将机器遗忘技术分为精确遗忘和近似遗忘两大类,并对每类中的不同方法进行了详细讨论。精确遗忘技术涉及SISA结构、图模型、k-Means和联邦学习等,而近似遗忘技术则基于影响函数、重新优化、梯度更新和特定于图数据的方法。此外指出这些技术在存储、假设、模型效用、计算成本和处理动态数据方面的局限性。

BetterBench的博客 3459

MATLAB信号处理实战:VMD分解参数调优全指南(附避坑技巧)

本文深入探讨了MATLAB中变分模态分解(VMD)的核心参数调优实战技巧。针对模态数K和惩罚系数α的选择难题,提供了从经验估计、可视化观察到量化指标辅助的渐进式调优框架,并分享了避免过分解与欠分解的实用避坑指南,旨在帮助工程师高效处理非平稳信号,提取清晰的物理特征。

weixin_29079671的博客 144

CarPlay无线连接开发实战:从蓝牙EIR查询到iAP2认证的完整代码逻辑梳理

本文详细解析了无线CarPlay连接开发的完整流程,从蓝牙EIR查询到iAP2认证的代码实现。重点介绍了蓝牙握手、WiFi Beacon帧配置、热点信息准备等关键环节的实战技巧,帮助开发者快速搭建稳定可靠的无线CarPlay连接系统。

weixin_31534091的博客 321

[转]艾宾浩斯遗忘曲线

本文转自http://www.cppblog.com/ietj/archive/2009/11/11/100708.html 学英语,词汇量的大小是决定英语水平的重要因素,下面介绍一种科学有效的单词记忆法.这个就是著名的艾宾浩斯遗忘曲线从中可以看出我们如潮水般汹涌的遗忘,从中观察时间间隔20分钟,1小时,8-9小时一天,两天,31天我们不复习会记的所学的百分之多少,对此先给一个复习

DreamFlyingFish的专栏 1839

【微电网优化】基于粒子群求解CHP机组、气网、电网、储热罐和电锅炉微电网优化模型附matlab代码

1 简介 我国风力发电近年发展迅速,装机容量已成为全球首位.随着风力发电在电力系统中的渗透率不断提高,我国多个地区(尤其是"三北"地区)已经面临着十分严峻的风电消纳问题,产生不容忽视的弃风问题.针对目前我国风电消纳存在的困难,本文提出粒子群优化CHP机组、气网、电网、储热罐和电锅炉微电网控制策略. 2 部分代码 Ppv=[0;0;0;0;0;0;9.86000000000000;19.0100000000000;33.1000000000000;45.0700000000000;64.7900000

qq_59747472的博客 672

遗忘算法是什么,遗忘算法一般用来做什么

遗忘算法可用于不同的问题和场景,例如机器学习中的模型遗忘,即从已有模型中删除某些数据样本的影响。增量学习算法(incremental learning algorithm):与遗忘算法相反,增量学习算法是一种用于持续学习和积累新的信息的算法。在机器学习中,遗忘算法可以用于删除某些数据样本的影响,以此模型能够忘记之前学习到的不需要或错误的信息,来提高模型的准确性以及样本的一个泛化能力。遗忘算法还可以用于隐私计算,在涉及个人隐私的数据处理中,遗忘算法可以用于删除个人的敏感信息,保护个人隐私。

2301_76444133的博客 591

KEPServerEX 6 之 GE Ethernet 连接FANUC ROBOT机器人实战

GE Fanuc是GE公司控制系统部门的一部分,成立于1998年。其主要业务涵盖工业自动化、控制系统、PLC和组态软件等领域。其产品可用于包括自动化、过程自动化、国防、汽车制造、通讯、医疗和航空航天等各种工业领域2009 8月 GE和FANUC今天宣布两家公司已同意解除合资企业GE FANUC自动化公司。通过以上历史,GE Ethernet Driver 当下还支持对接FANUC ROBOT机器人 就不奇怪了。

-雲飛兄-博客 1791

vue3 - 超详细 cropper.js 实现图片(头像)裁剪效果功能,在vue3中上传图像后按比例进行图片的裁剪及实时预览,Element / Ant Desi(详细示例源码,一键复制开箱即用!)

vue3图片裁剪及实时预览,vue3 vue-cropper,vue3头像裁剪,vue3 el-upload+vue-cropper 图像图片头像裁剪上传,vue3怎么进行图片的裁剪,vue3使用vue-cropper图片裁剪,vue3项目如何实现头像图片裁剪上传功能,vue3网站pc怎么将上传的图片按比例进行裁剪,vue3+element plus实现图片上传按尺寸大小裁剪,vue3中图片上传使用cropperjs 头像裁剪,vue3中图片上传使用cropperjs 头像裁剪,vue3好用的图片裁剪插件组

✅ 精选推荐文章 4506

【译】2024 年的机器遗忘/反学习

取消学习过程有时可能需要外部审计,意味着我们希望证明取消学习过程确实已发生。伪造”的主要思想是存在两个不同的数据集,当对其进行训练时,将产生相同的梯度和(因此)相同的模型。这在直觉上是正确的:将点线性回归至完美直线;移除任意一个点都不会改变拟合的直线;想象一下小批量 GD,其中将一个示例梯度替换为几个“假”梯度的总和会产生相同的批量梯度。伪造意味着基于 DP 的近似取消学习可能无法通过审核——也就是说,取消学习服务提供者无法正式证明遗忘集确实被遗忘了。

龙哥盟 1514

机器学习的低代码与无代码平台:便捷入门之路

机器学习领域正涌现出大量低代码和无代码平台,使非技术人员也能轻松应用AI技术。低代码平台(如PyCaret、H2O AutoML)需少量编程但灵活性强,而无代码工具(如Google Cloud AutoML、Teachable Machine)则完全无需编程基础。这些平台覆盖图像识别、文本处理、业务预测等多种场景,适合快速部署简单项目。但专业人士仍需注意,这些工具无法替代复杂场景下的定制化开发。随着技术进步,低门槛AI工具正在改变各行业的创新方式。

2501_90323865的博客 154

艾宾浩斯记忆遗忘曲线

遗忘曲线 德国心理学家艾宾浩斯(H.Ebbinghaus)研究发现,遗忘在学习之后立即开始,而且遗忘是进程并不是均匀的。最初遗忘速度很快,以后逐渐缓慢。他认为"保持和遗忘是时间的函数",并根据他的实验结果绘成描述遗忘进程的曲线,即著名的艾宾浩斯记忆遗忘曲线。人的大脑是一个记忆的宝库,人脑经历过的事物,思考过的问题,体验过的情感和情绪,练习过的动作,都可以成为人们记忆的内容。例如英文的学习中单词

人生的成功,不在于拿到一幅好牌,而是怎样将坏牌打好. 2719

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

艾宾浩斯遗忘曲线

这个就是著名的艾宾浩斯遗忘曲线从中可以看出我们如潮水般汹涌的遗忘,从中观察时间间隔20分钟,1小时,8-9小时一天,两天,31天我们不复习会记的所学的百分之多少,对此先给一个复习的方法复习点的确定(根据艾宾浩斯记忆曲线制定)人的记忆分短期记忆和长期记忆两种第一个记忆周期是5分钟 第二个记忆周期是30分钟 第三个记忆周期是12小时 这三个记忆周期属于短期记忆的范畴

phil的专栏 4979

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

灾难性缓解遗忘方法

缺乏适当的正则化方法,prior_loss_weight选择

一休 1316

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Mamba持续学习:避免灾难性遗忘的策略

在深度学习领域,灾难性遗忘(Catastrophic Forgetting)一直是持续学习面临的核心挑战。当模型学习新任务时,往往会严重遗忘先前学到的知识,这种现象在传统的Transformer架构中尤为明显。Mamba作为一种革命性的选择性状态空间模型(Selective State Space Model),为解决这一难题提供了全新的技术路径。 Mamba通过其独特的选择性扫描机制和线性时间...

gitblog_00683的博客 755

艾宾浩斯遗忘曲线PHP,艾宾浩斯遗忘曲线

遗忘曲线德国心理学家艾宾浩斯(H.Ebbinghaus)研究发现,遗忘在学习之后立即开始,而且遗忘的进程并不是均匀的。最初遗忘速度很快,以后逐渐缓慢。他认为"保持和遗忘是时间的函数",他用无意义音节(由若干音节字母组成、能够读出、但无内容意义即不是词的音节)作记忆材料,用节省法计算保持和遗忘的数量。[1]并根据他的实验结果绘成描述遗忘进程的曲线,即著名的艾宾浩斯记忆遗忘曲线。[2]时间间隔记忆量刚...

weixin_34463228的博客 651

灾难性遗忘_DeepMind最新研究解决灾难性遗忘难题

【新智元导读】当遇到序列任务时,神经网络会遭受灾难性遗忘。DeepMind研究人员通过在函数空间中引入贝叶斯推理,使用诱导点稀疏GP方法和优化排练数据点来克服这个问题。今天和大家分享这篇Reddit高赞论文。这篇由DeepMind研究团队出品的论文名字叫“Functional Regularisation for Continual Learning”(持续学习的功能正规化)。研究人员引入了一个基...

weixin_30599521的博客 706

【有啥问啥】灾难性遗忘问题(Catastrophic Forgetting,CF)是什么?

灾难性遗忘是深度学习领域中的一个关键挑战,尤其是在需要模型持续学习和适应新任务的场景下。尽管已有多种应对策略,但这一问题的彻底解决仍然需要进一步的研究和探索。未来,随着神经网络架构和学习算法的不断进步,灾难性遗忘问题有望得到更加全面和有效的解决。

Chauvin的博客 8319

机器遗忘是否真正移除了模型知识?大型语言模型中的遗忘审计框架

近年来,大型语言模型(LLMs)取得了显著进展,吸引了研究界的广泛关注。其能力主要归功于大规模架构,这需要在海量数据集上进行广泛训练。然而,这些数据集通常包含从公共互联网获取的敏感或受版权保护的内容,引发了对数据隐私和所有权的关注。监管框架,如《通用数据保护条例》(GDPR),赋予个人要求删除此类敏感信息的权利。这促使了机器遗忘算法的发展,旨在无需昂贵的重新训练即可从模型中移除特定知识。尽管有这些进展,但由于LLMs固有的复杂性和生成性质,评估遗忘算法的有效性仍然是一个挑战。

栖客 886
上一篇: 今天回家了!
下一篇: Fedora Core5 安装运行成功!
kuaidc
博客等级 码龄22年 9粉丝 39原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值