论文阅读：Selective amnesia: A continual learning approach to forgetting in deep generative models

最新推荐文章于 2025-12-17 18:11:29 发布
原创 最新推荐文章于 2025-12-17 18:11:29 发布 · 1.1k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #AIGC #持续学习 #概念擦除

本文提出了一种名为SelectiveAmnesia(SA)的方法，利用连续学习中的EWC和GR技巧来处理深度生成模型中的概念遗忘。通过定义并优化特定的损失函数，SA在保持模型整体性能的同时，有效地遗忘指定的概念。

Selective amnesia: A continual learning approach to forgetting in deep generative models

这篇文章提出了Selective Amnesia （SA），其借助了持续学习（continual learning）中的技巧（EWC和GR）实现生成模型中的概念遗忘。

  • 输入：forget conceps cfc_fcf​及其对应图片xfx_fxf​，remaining concepts crc_rcr
最低0.47元/天 解锁文章
论文阅读：CAN GENERATIVE LARGE LANGUAGE MODELS PERFORM ASR ERROR CORRECTION?
CSPhD-winston的博客
03-01 1176
这篇论文探讨了生成式大型语言模型（如ChatGPT）在自动语音识别（ASR）错误校正中的应用。研究背景ASR系统的挑战：尽管端到端模型（如RNN-T、LAS、Whisper）显著提升了语音识别性能，但ASR输出仍存在错误，尤其是低频词或跨领域场景。传统错误校正方法：通常需要针对特定ASR系统训练监督模型（如基于T5的模型），计算成本高且缺乏灵活性。生成式LLMs的优势：ChatGPT等模型具备零样本/少样本学习能力，无需训练即可适配不同ASR系统，为高效错误校正提供了新思路。方法创新。
机器学习的遗忘——基于文章“Forgetting“ in Machine Learning and Beyond: A Survey
nbwjszd的博客
07-08 768
另一个需要考虑的重要方面是偶然遗忘的界限，因为并非所有的遗忘情况都会产生积极的结果。在教育理论中，过度遗忘可能会使问题解决变得过于具有挑战性，潜在地阻碍学生的学习流程通道，从而产生负面体验 同样，不适当的存档实践可能会导致机器学习模型的灾难性遗忘和荒谬的决策制定，这给我们带来了新的挑战，即确定不同类型训练任务中适当的遗忘界限，确保遗忘被有效和适当地应用。这种形式的遗忘有助于优化模型的内存利用，提高其概括能力，并增强其对不同数据集和任务的适应性。在这里，我们探索当前的研究空白，以推动该领域的发展。
NeurIPS2023丨Generative Model 相关工作最新进展
AI_Conf的博客
11-27 1290
NeurIPS，全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems)，是一个关于机器学习和计算神经科学的国际会议。作为目前全球最负盛名的人工智能盛会之一，NeurIPS 在每年年末都是计算机科学领域瞩目的焦点。被 NeurIPS 接收的论文，代表着当今神经科学和人工智能研究的最高水平。
【机器遗忘之Selective amnesia算法】2024年NIPS顶刊论文：A continual learning approach to forgetting in deep
BetterBench的博客
01-05 1688
本文提出了一种名为“选择性遗忘”（Selective Amnesia）的技术，它基于持续学习理念，通过结合弹性权重固化（Elastic Weight Consolidation, EWC）和生成性重放（Generative Replay, GR）方法，并引入替代目标分布，实现对预训练深度生成模型中特定概念的选择性遗忘，允许用户指定如何遗忘特定概念。
【论文阅读】LSKNet: Large Selective Kernel Network for Remote Sensing Object Detection
热门推荐
糯米丸子TAT的博客
09-02 2万+
这是南开大学在ICCV2023会议上新提出的旋转目标检测算法，基本原理就是通过一系列Depth-wise 卷积核和空间选择机制来动态调整目标的感受野，从而允许模型适应不同背景的目标检测。1. 目前基于旋转框的遥感影像目标检测算法已经取得了一定的进展，但是很少考虑存在于遥感影像中的先验知识。遥感影像中的目标往往尺寸很小，仅仅基于其表观特征很难识别，如果结合其背景信息，如周边环境，就可以提供形状、方向等有意义的信息。
【连续学习之Progressive learning 算法】2020Neural Networks期刊论文：Progressive learning A deep learning framework
BetterBench的博客
07-14 1588
提出了一种名为“Progressive learning”的深度学习框架，解决持续学习问题。Progressive learning 框架包含三个主要步骤，分别是Curriculum（课程）、Progression（渐进）和Pruning（剪枝）。课程是指主动从一组候选任务中选择一个任务进行学习。渐进是指通过添加新参数来增加模型的容量，这些新参数利用之前任务中学习到的参数，同时学习当前新任务的数据，而不会受到灾难性遗忘的影响。剪枝是指用来抵消随着学习更多任务而增加的参数数量，同时减轻不相关的先前知识可能对当
LLMs之PEFT：《Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-10 2033
​ LLMs之PEFT：《Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey》翻译与解读 目录 《Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey》翻译与解读 Abstract 1、Introduction VII Conclusion and Future
【论文笔记】Deep Learning on Graphs: A Survey
weixin_44884854的博客
09-24 4371
1 INTRODUCTION This problem is non-trivial because several challenges exist in applying traditional deep learning architectures to graphs: 这个问题是非常重要的，因为在将传统的深度学习架构应用于图形时存在一些挑战： Irregular structures of graphs.图的不规则结构 Heterogeneity and diversity of graphs.图的
翻译《Deep Learning For Generic Object Detection : A Survey》
weixin_39667908的博客
10-24 4031
Deep Learning For Generic Object Detection : A Survey 4 Fundamental SubProblems 基本子问题   In this section important subproblems are described, including fea-ture representation, region proposal, conte...
【论文阅读】Mamba: Linear-Time Sequence Modeling with Selective State Spaces
kanon的博客
07-19 2954
Mamba模型基于Transformer架构，旨在解决传统Transformer在长序列上的计算效率问题。通过引入选择性状态空间SSMs（Selective State Spaces），Mamba能够在保持线性时间复杂度的同时，实现与Transformer相媲美的性能。首先，简单地让SSM参数成为输入的函数，解决了它们在离散模态方面的弱点，允许模型根据当前令牌选择性地沿序列长度维度传播或忘记信息。其次，尽管这一变化阻碍了高效卷积的使用，但在循环模式下设计了一种硬件感知的并行算法。
When to intervene in selective mutism: The multimodal treatment of a case of persistent selective mutism
06-29
When to intervene in selective mutism: The multimodal treatment of a case of persistent selective mutism Psychology in the Schools Volume 32, April 1995 WHEN TO INTERVENE IN SELECTIVE MUTISM: ...
【AFDM与信号处理：论文阅读】仿射频分复用：扩展OFDM以实现场景灵活性和弹性
最新发布
Cuby的博客
12-17 637
论文《仿射频分复用(AFDM)：扩展OFDM的场景适应性与鲁棒性》探讨了一种新型多载波波形AFDM，旨在解决高速移动场景下的通信挑战。
论文阅读 SAM 3: Segment Anything with Concepts
2502_91183859的博客
12-14 954
数据引擎从带噪声的媒体-短语-掩码伪标签入手，通过人**工和AI验证器检查掩码的质量和完整性，筛选出标记正确的样本，并识别出具有挑战性的错误案例。我们将PCS任务形式化为：以文本和/或图像示例作为输入，预测与该概念匹配的每个对象的实例掩码和语义掩码，同时在视频帧中保持对象的身份一致性）。在获得初始的掩码集（或掩码片段）后，SAM 3允许使用正向和负向点击来优化单个掩码（片段）。具体来说，给定用户的点击，我们应用提示编码器对其进行编码，并将编码后的提示输入到掩码解码器中，以预测调整后的掩码。
论文笔记（一百一）Robot Learning from a Physical World Model
xzs1210652636的博客
12-13 895
本文提出PhysWorld框架，通过物理世界建模实现机器人从视频生成中学习。该框架结合视频生成与物理重建：给定单幅图像和任务指令，首先生成任务条件化视频，随后重建其背后的物理世界模型。通过以物体为中心的残差强化学习，将生成视频中的运动转化为符合物理规律的精确动作。这种方法无需真实机器人数据采集，实现零样本可泛化的机器人操控。实验表明，PhysWorld在多种真实任务中显著提升操控精度，优于现有方法。
论文阅读：NAACL 2024 Self-Guard: Empower the LLM to Safeguard Itself
CSPhD-winston的博客
12-12 844
比如给AI看大量有害/无害的例子，让它不仅能给内容贴「harmful」（有害）或「harmless」（无害）的标签，还能说清为啥——比如“这段教入侵账号，违法，所以有害”，这样AI对“有害”的理解更准，不容易被新攻击骗。这篇文档讲的是一种叫“SELF-GUARD”的新方法，目的是让大语言模型（比如ChatGPT、Vicuna这类AI）能“保护自己”，不被坏人用“越狱攻击”诱导输出有害内容（比如教怎么搞暴力活动、入侵别人账号），同时还不影响AI正常回答问题的能力。
论文笔记（一百零九）Discovering state-of-the-art reinforcement learning algorithms
xzs1210652636的博客
12-12 752
摘要 本文提出了一种通过元学习自动发现强化学习（RL）算法的方法，无需依赖人工设计。研究者让智能体群体在多样化环境中交互，通过元网络自主生成学习规则（目标函数和更新机制）。实验表明，该方法发现的DiscoRL算法在Atari等基准测试中超越了人工设计的PPO、IMPALA等先进算法，并在未见过的复杂任务中展现出强大泛化能力。这一成果表明，未来高性能RL算法可能通过智能体自主探索而非人工设计获得。 关键词：强化学习、元学习、算法发现、自主智能体
论文阅读：arxiv 2025 Red Teaming Large Reasoning Models
CSPhD-winston的博客
12-13 576
首先得明白，LRMs和普通的大语言模型（比如平时聊天的AI）不一样——它擅长一步步解决复杂问题，比如算数学题、写代码时，会把思考过程（比如“先算哪一步，再推哪一步”）明明白白列出来，这本来是优点，能让人看懂它怎么想的。为了测准，他们还专门设计了30个任务，覆盖各种场景：比如算比例题、解有上下文的数学题（真实性），测它会不会教“怎么侵权”“怎么暴力伤人”（安全性），测它写代码、解逻辑题时会不会超时（效率）。总的来说，就是给LRMs做了一套“全面体检表”，既找出了它们的弱点，也给改进指明了方向。
【NIPS25 Best Paper】论文阅读
三木今天学习了嘛の博客
12-12 995
NIPS2025 Best paper
论文阅读笔记：Class-Incremental Learning: A Survey
HollowKnightz的博客
12-17 408
论文阅读笔记：Class-Incremental Learning: A Survey
ERROR: Could not find a version that satisfies the requirement selective_scan_cuda
12-22
这个错误通常出现在Python包管理工具（如pip）安装过程中，当你尝试安装名为"selective_scan_cuda"的特定版本库时找不到可用的对应版本。这可能是由于以下几个原因： 1. **包不存在**：该库可能还没有发布到PyPI（Python Package Index），或者已经不再维护。 2. **网络问题**：访问PyPI时遇到网络问题，导致无法下载。 3. **版本冲突**：可能有其他依赖项限制了可选版本，需要检查你的项目设置。 4. **CUDA版本不匹配**：如果该库专为某个CUDA版本设计，你需要确保你的系统上安装了正确的CUDA版本。 解决这个问题可以尝试以下步骤： - 检查官方文档或GitHub仓库确认是否有可用的最新版本或替代库。 - 更新pip到最新版本：`pip install --upgrade pip` - 如果有版本依赖，尝试指定一个较新的兼容版本：`pip install selective_scan_cuda==<version>` - 清理已损坏的依赖并重新安装：`pip uninstall -y selective_scan_cuda && pip install selective_scan_cuda`
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值