灾难性遗忘(catastrophic forgetting)

最新推荐文章于 2025-03-23 16:58:00 发布
原创 最新推荐文章于 2025-03-23 16:58:00 发布 · 818 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #人工智能

在多任务学习环境中，神经网络往往面临灾难性遗忘问题，即在学习新任务时，模型会忘记先前学过的任务。这对于风格迁移等应用是一个挑战。文章探讨了这一问题的原因及潜在解决方案。
NLP高频面试题（三十八）——什么是LLM的灾难性遗忘？如何避免灾难性遗忘？
WeLearnNLP
04-10 503
近年来，大语言模型在人工智能领域取得了显著进展。然而，随着模型的不断更新和新任务的引入，出现了一个重要的问题，即。灾难性遗忘指的是大模型在连续学习新知识或新任务时，先前掌握的旧知识会迅速被覆盖或遗忘，从而导致模型在旧任务中的表现明显下降。
必知必会:持续预训练（Continued Pre-Training, CPT和灾难性遗忘（Catastrophic Forgetting）
最新发布
丨汀、的博客
09-27 529
必知必会:持续预训练（Continued Pre-Training, CPT和灾难性遗忘（Catastrophic Forgetting）
灾难性遗忘（catastrophic forgetting）学习笔记
oneself的博客
03-19 4730
灾难性遗忘（catastrophic forgetting）学习笔记
Tree-CNN：一招解决深度学习中的「灾难性遗忘」
Paper weekly
04-25 2732
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击本文底部...
灾难性遗忘（catastrophic forgetting）
weixin_30491641的博客
06-07 4310
Overcoming catastrophic forgetting in neural networks（克服神经网络中的灾难性遗忘） 原文： https://www.pnas.org/content/pnas/early/2017/03/13/1611835114.full.pdf 翻译： https://www.dengfanxin.cn/?p=368 ...
【深度学习】神经网络灾难性遗忘（Catastrophic Forgetting，CF）问题
码农努力学习
01-14 2101
灾难性遗忘（Catastrophic Forgetting）是指在神经网络，尤其是深度学习模型中，当模型在学习新的任务时，往往会遗忘之前学过的任务或知识。这种现象通常发生在连续学习过程中，即模型必须依次学习多个任务时。随着新任务的学习，模型会在不加保护的情况下丧失对旧任务的记忆或表现，导致旧任务的性能显著下降。
在神经网络中测量灾难性遗忘
09-05
灾难性遗忘是深度学习中一个非常重要的研究主题，它指的是在神经网络中，当模型学习新任务时，会迅速忘掉先前学习任务的性能。这种现象类似于人类在学习新知识时会逐渐遗忘旧知识。在神经网络中，当模型进行增量学习...
01- Overcoming Catastrophic Forgetting For Event-Centric.rar
10-19
然而，这些模型面临着一个严重的问题——“灾难性遗忘”（Catastrophic Forgetting）。当模型在连续的学习过程中，新任务的学习往往会导致对旧任务的性能急剧下降，这被称为灾难性遗忘。本资料主要探讨如何在事件...
“Life Long Learning”（终身学习）和“灾难性遗忘”（catastrophic forgetting）
子燕若水的博客
09-19 892
它的基本思想是，如果两个任务之间有一些共同的特征或规律，那么在一个任务上学到的知识可以帮助另一个任务的学习。例如，如果我们想让一个模型能够识别猫和狗的图片，我们可以先让它在一个大型的图片数据集上进行预训练，学习一些通用的图像特征，然后再在一个小型的猫狗图片数据集上进行微调，学习一些特定的猫狗特征。它的基本思想是，对于每个新任务，它都会增加一个新的网络列（column），并且将之前任务每层输出的特征作为新任务对应层的输入。这样，新任务就可以利用之前任务的特征来进行学习，而不会影响之前任务的参数。
灾难性遗忘_Tree-CNN：一招解决深度学习中的「灾难性遗忘」
weixin_39653448的博客
12-21 523
网络结构及学习策略网络结构Tree-CNN 模型借鉴了层分类器，树卷积神经网络由节点构成，和数据结构中的树一样，每个节点都有自己的 ID、父亲(Parent)及孩子(Children)，网(Net，处理图像的卷积神经网络)，LT("Labels Transform"，就是每个节点所对应的标签，对于根节点和枝节点来说，可以是对最终分类类别的一种划分，对于叶节点来说，就是最终的分类类别)，其中最顶部为...
【有啥问啥】灾难性遗忘问题（Catastrophic Forgetting，CF）是什么？
Chauvin的博客
09-02 7331
灾难性遗忘是深度学习领域中的一个关键挑战，尤其是在需要模型持续学习和适应新任务的场景下。尽管已有多种应对策略，但这一问题的彻底解决仍然需要进一步的研究和探索。未来，随着神经网络架构和学习算法的不断进步，灾难性遗忘问题有望得到更加全面和有效的解决。
灾难性遗忘_[PNAS 2017] 克服神经网络中的灾难性遗忘
weixin_42517987的博客
01-04 540
基本信息名称：Overcoming catastrophic forgetting in neural networks链接：https://arxiv.org/abs/1612.00796作者：James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A. Rusu,...
灾难性遗忘
dingxingdi的博客
03-23 643
我将非常详细地解释**灾难性遗忘(Catastrophic Forgetting)**的机制、成因以及其在深度学习中的具体表现。当前LLM的高效调参技术(如LoRA、MoE)均与此问题密切相关，建议结合代码实践(如Hugging Face PEFT库)加深理解。这一概念最早由McCloskey & Cohen(1989)在研究人类记忆时提出，后来被广泛应用于神经网络领域。灾难性遗忘(Catastrophic Forgetting)是指神经网络在学习新任务时，灾难性遗忘的本质是神经网络在。
深度学习笔记：灾难性遗忘
qq_40206371的博客
01-22 2547
【ICML2018】中提到，神经网络的所有的极小值都是连通在一起的；同时给出了如何从一个极小值找到一条通路连到另一个极小值的算法。——>从原始任务的某个极小值出发，在优化新任务的时候。，就可以保证原始任务不受影响了。
深度学习的“灾难性遗忘“
qq_20481015的博客
08-20 1201
目前DNN的优点是可以建立输入输出之间非常复杂的映射关系，用于识别、分类和预测。但是一旦学习阶段结束，它所能做的操作就固化了，既难以方便的学习新的映射，也不能对实际环境中存在情境信息(比如自身状态，环境变化、任务变化等)做出灵活的响应，难以满足复杂多变的需求，即缺少情境依赖学习(contextual-dependent learning)的能力。 一般而言，当前的DNN也受到“灾难性遗忘"问题的...
大规模语言模型--灾难性遗忘
Hanscal
10-23 2018
造成灾难性遗忘的一个主要原因是， 传统模型假设数据分布是固定或平稳的， 训练样本是独立同分布的， 所 以模型可以一遍又一遍地看到所有任务相同的数据， 但当数据变为连续的数据流时， 训练数据的分布就是非平稳的， 模型从非平稳的数据分布中持续不断地获取知识时， 新知识会干扰旧知识， 从而导致模型性能的快速下 降， 甚至完全覆盖或遗忘以前学习到的旧知识。灾难遗忘问题多年来一 直被人们所认识并被广泛报道，尤其是在计算机视觉领域，现在微调大语言模型也面临灾难性遗忘的问题，这个问题也出现在LLM微调和训练中。
深度学习之灾难性遗忘问题
热门推荐
昔风不起，唯有努力生存！
08-02 2万+
神经网络之灾难性遗忘问题 摘要 1. 什么是灾难性遗忘 2. 为什么出现灾难性遗忘 3. 现有的解决方法综述 4. 例子与程序 5. 结语
灾难性遗忘_面向超网络的连续学习：新算法让人工智能不再“灾难性遗忘”
weixin_36256707的博客
01-04 666
作者 | 十、年编辑 | Camel人脑显然是人工智能追求的最高标准。毕竟人脑使得人类拥有了连续学习的能力以及情境依赖学习的能力。这种可以在新的环境中不断吸收新的知识和根据不同的环境灵活调整自己的行为的能力，也正是深度学习系统与人脑相差甚远的重要原因。想让传统深度学习系统获得连续学习能力，最重要的是克服人工神经网络会出现的“灾难性遗忘”问题，即一旦使用新的数据集去训练已有的模型，该模型将会失去对原...
灾难性遗忘_捡了芝麻，也要西瓜——深度学习中如何避免灾难性遗忘？
weixin_39997173的博客
12-21 610
今天给大家介绍主题叫做Catastrophic Forgetting。虽然这个名字很吓人，但其实早在神经网络的远古时代，就已经有研究[1]关注这样的一个问题了。在自然认知的系统中，遗忘是一个逐步的过程，除极少数情况，人不会突然失忆。但是在对应的计算模型，尤其是Gradient Based Connectionism(联结主义)模型中，模型往往表现的是Catastrophic Forgetting(...
决"catastrophic forgetting
08-27
解决深度学习模型中的灾难性遗忘（Catastrophic Forgetting）问题，通常需要结合模型结构、训练策略以及学习机制的优化。以下是一些主流方法： ### 1. 参数正则化方法（Parameter Regularization） 这种方法通过对...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值