灾难性遗忘(catastrophic forgetting)

最新推荐文章于 2025-05-26 09:38:15 发布
最新推荐文章于 2025-05-26 09:38:15 发布
阅读量706 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 图像处理+python+深度学习 文章标签： 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wuling129/article/details/131389901
在多任务学习环境中，神经网络往往面临灾难性遗忘问题，即在学习新任务时，模型会忘记先前学过的任务。这对于风格迁移等应用是一个挑战。文章探讨了这一问题的原因及潜在解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning
c_cpp_csharp的专栏
08-23 404
灾难性遗忘（CF）是机器学习中发生的一种现象，当模型在学习新信息时忘记了先前学习的信息。由于大型语言模型（LLM）已经显示出优异的性能，揭示CF是否存在于LLM的持续微调中是很有趣的。在本研究中，我们从领域知识、推理和阅读理解的角度对LLM知识中的遗忘现象进行了实证评估。实验表明，灾难性遗忘通常在1b到7b的LLM中观察到。此外，随着规模的增加，遗忘的严重程度也会加剧。将仅解码器模型BLOOMZ与编码器-解码器模型mT0进行比较，BLOOMZ遭受较少的遗忘并且保持更多的知识。
Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning
c_cpp_csharp的专栏
06-14 146
任务增量连续学习是指在克服灾难性遗忘（CF）问题的同时，在一系列任务中不断训练模型。这个问题的出现是因为学习新任务时忘记了学习到的表示，并且破坏了决策边界。以往的研究大多考虑如何恢复学习任务的表征。很少考虑将决策边界调整为新的表示，在本文中，我们提出了一种具有自适应分类标准的监督对比学习框架，用于连续学习（SCCL）。在我们的方法中，使用对比损失来直接学习不同任务的表示，并保存有限数量的数据样本作为分类标准。在推理过程中，将保存的数据样本馈送到当前模型中以获得更新的表示，并使用k个最近邻居模块进行分类。
深度学习笔记：灾难性遗忘
qq_40206371的博客
01-22 2336
【ICML2018】中提到，神经网络的所有的极小值都是连通在一起的；同时给出了如何从一个极小值找到一条通路连到另一个极小值的算法。——>从原始任务的某个极小值出发，在优化新任务的时候。，就可以保证原始任务不受影响了。
灾难性遗忘（catastrophic forgetting）
weixin_30491641的博客
06-07 4233
Overcoming catastrophic forgetting in neural networks（克服神经网络中的灾难性遗忘） 原文： https://www.pnas.org/content/pnas/early/2017/03/13/1611835114.full.pdf 翻译： https://www.dengfanxin.cn/?p=368 ...
LLM中的知识留存：解决LLM的灾难性遗忘问题
最新发布
2401_85373396的博客
05-26 1193
在教育场景中，我们常常看到这样的现象：学生在新学期学习几何与代数时，却逐渐遗忘了基础的加减法，需要教师反复复习旧知识。这一现象在人工智能领域有着惊人的相似——当大语言模型（LLMs）在微调于新任务或专业领域时，往往会覆盖原有知识，导致“灾难性遗忘”（Catastrophic Forgetting）。这种遗忘不仅影响模型的实用性，更制约了其向通用人工智能（AGI）演进的可能性。本文将深入探讨灾难性遗忘的本质、影响，并系统梳理当前主流的解决方案，揭示AI如何实现“终身学习”的关键技术路径。
【深度学习】神经网络灾难性遗忘（Catastrophic Forgetting，CF）问题
码农努力学习
01-14 1782
灾难性遗忘（Catastrophic Forgetting）是指在神经网络，尤其是深度学习模型中，当模型在学习新的任务时，往往会遗忘之前学过的任务或知识。这种现象通常发生在连续学习过程中，即模型必须依次学习多个任务时。随着新任务的学习，模型会在不加保护的情况下丧失对旧任务的记忆或表现，导致旧任务的性能显著下降。
灾难性遗忘（catastrophic forgetting）学习笔记
oneself的博客
03-19 4266
灾难性遗忘（catastrophic forgetting）学习笔记
灾难性遗忘_Tree-CNN：一招解决深度学习中的「灾难性遗忘」
weixin_39653448的博客
12-21 500
网络结构及学习策略网络结构Tree-CNN 模型借鉴了层分类器，树卷积神经网络由节点构成，和数据结构中的树一样，每个节点都有自己的 ID、父亲(Parent)及孩子(Children)，网(Net，处理图像的卷积神经网络)，LT("Labels Transform"，就是每个节点所对应的标签，对于根节点和枝节点来说，可以是对最终分类类别的一种划分，对于叶节点来说，就是最终的分类类别)，其中最顶部为...
在神经网络中测量灾难性遗忘
09-05
灾难性遗忘是深度学习中一个非常重要的研究主题，它指的是在神经网络中，当模型学习新任务时，会迅速忘掉先前学习任务的性能。这种现象类似于人类在学习新知识时会逐渐遗忘旧知识。在神经网络中，当模型进行增量学习...
01- Overcoming Catastrophic Forgetting For Event-Centric.rar
10-19
然而，这些模型面临着一个严重的问题——“灾难性遗忘”（Catastrophic Forgetting）。当模型在连续的学习过程中，新任务的学习往往会导致对旧任务的性能急剧下降，这被称为灾难性遗忘。本资料主要探讨如何在事件...
用弹性响应蒸馏克服增量目标检测中的灾难性遗忘问题
m0_61387177的博客
10-20 1058
在论文中，作者精心设计了目标检测领域中一种基于响应的增量范式，有效地缓解了灾难性遗忘问题。首先，从分类头和回归头中学习响应，并特别在回归响应中引入增量定位蒸馏。其次，设计了弹性选择策略，以在不同的头上提供合适的响应，大量的实验验证了该方法的有效性。最后，详细分析讨论了作者提出方法的通用性 以及 增量检测任务中基于响应和基于特征的蒸馏之间的本质区别，这为该领域的进一步探索提供了见解。
【有啥问啥】灾难性遗忘问题（Catastrophic Forgetting，CF）是什么？
Chauvin的博客
09-02 5904
灾难性遗忘是深度学习领域中的一个关键挑战，尤其是在需要模型持续学习和适应新任务的场景下。尽管已有多种应对策略，但这一问题的彻底解决仍然需要进一步的研究和探索。未来，随着神经网络架构和学习算法的不断进步，灾难性遗忘问题有望得到更加全面和有效的解决。
灾难性遗忘_[PNAS 2017] 克服神经网络中的灾难性遗忘
weixin_42517987的博客
01-04 512
基本信息名称：Overcoming catastrophic forgetting in neural networks链接：https://arxiv.org/abs/1612.00796作者：James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A. Rusu,...
深度学习的“灾难性遗忘“
qq_20481015的博客
08-20 1162
目前DNN的优点是可以建立输入输出之间非常复杂的映射关系，用于识别、分类和预测。但是一旦学习阶段结束，它所能做的操作就固化了，既难以方便的学习新的映射，也不能对实际环境中存在情境信息(比如自身状态，环境变化、任务变化等)做出灵活的响应，难以满足复杂多变的需求，即缺少情境依赖学习(contextual-dependent learning)的能力。 一般而言，当前的DNN也受到“灾难性遗忘"问题的...
大规模语言模型--灾难性遗忘
Hanscal
10-23 1770
造成灾难性遗忘的一个主要原因是， 传统模型假设数据分布是固定或平稳的， 训练样本是独立同分布的， 所 以模型可以一遍又一遍地看到所有任务相同的数据， 但当数据变为连续的数据流时， 训练数据的分布就是非平稳的， 模型从非平稳的数据分布中持续不断地获取知识时， 新知识会干扰旧知识， 从而导致模型性能的快速下 降， 甚至完全覆盖或遗忘以前学习到的旧知识。灾难遗忘问题多年来一 直被人们所认识并被广泛报道，尤其是在计算机视觉领域，现在微调大语言模型也面临灾难性遗忘的问题，这个问题也出现在LLM微调和训练中。
深度学习之灾难性遗忘问题
热门推荐
昔风不起，唯有努力生存！
08-02 2万+
神经网络之灾难性遗忘问题 摘要 1. 什么是灾难性遗忘 2. 为什么出现灾难性遗忘 3. 现有的解决方法综述 4. 例子与程序 5. 结语
灾难性遗忘_面向超网络的连续学习：新算法让人工智能不再“灾难性遗忘”
weixin_36256707的博客
01-04 612
作者 | 十、年编辑 | Camel人脑显然是人工智能追求的最高标准。毕竟人脑使得人类拥有了连续学习的能力以及情境依赖学习的能力。这种可以在新的环境中不断吸收新的知识和根据不同的环境灵活调整自己的行为的能力，也正是深度学习系统与人脑相差甚远的重要原因。想让传统深度学习系统获得连续学习能力，最重要的是克服人工神经网络会出现的“灾难性遗忘”问题，即一旦使用新的数据集去训练已有的模型，该模型将会失去对原...
Tree-CNN：一招解决深度学习中的「灾难性遗忘」
Paper weekly
04-25 2693
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击本文底部...
“Life Long Learning”（终身学习）和“灾难性遗忘”（catastrophic forgetting）
子燕若水的博客
09-19 706
它的基本思想是，如果两个任务之间有一些共同的特征或规律，那么在一个任务上学到的知识可以帮助另一个任务的学习。例如，如果我们想让一个模型能够识别猫和狗的图片，我们可以先让它在一个大型的图片数据集上进行预训练，学习一些通用的图像特征，然后再在一个小型的猫狗图片数据集上进行微调，学习一些特定的猫狗特征。它的基本思想是，对于每个新任务，它都会增加一个新的网络列（column），并且将之前任务每层输出的特征作为新任务对应层的输入。这样，新任务就可以利用之前任务的特征来进行学习，而不会影响之前任务的参数。
深度学习中的灾难性遗忘：测量与对策
"这篇论文《在神经网络中测量灾难性遗忘》(Measuring Catastrophic Forgetting in Neural Networks)由Ronald Kemker、Marc McClure、Angelina Abitino、Tyler Hayes和Christopher Kanan共同撰写，发表于arXiv:1708....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值