elastic weight consolidation

最新推荐文章于 2025-11-15 10:20:06 发布
原创 最新推荐文章于 2025-11-15 10:20:06 发布 · 403 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本项目为 DeepMind 在 PNAS 2017 年发表的论文 Overcoming Catastrophic Forgetting 提供了一个非官方的 PyTorch 实现。Elastic Weight Consolidation (EWC) 方法用于解决机器学习中的灾难性遗忘问题。
部署运行你感兴趣的模型镜像

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

ujn20161222
关注
持续学习：（Elastic Weight Consolidation, EWC）Overcoming Catastrophic Forgetting in Neural Network
firehuiplane的博客
07-19 1万+
EWC目录概述1. 基础知识1.1 基本概念1.2 贝叶斯法则2. Elastic Weight Consolidation2.1 参数定义2.2 EWC 方法推导3. 拉普拉斯近似3.1 高斯分布拟合3.2 Fisher Information Matrix3.2.1 Fisher Information Matrix 的含义 概述 原论文地址：https://arxiv.org/pdf/1612.00796.pdf 本博客参考了以下博客的理解 地址：https://blog.youkuaiyun.com/dhaiu
弹性权重整合（EWC）算法
百态老人的博客
12-01 2099
弹性权重整合（Elastic Weight Consolidation，简称EWC）是一种旨在解决神经网络在顺序学习任务时出现的灾难性遗忘问题的算法。该算法由DeepMind在2016年提出，其核心思想是通过限制对先前任务重要的权重的调整，从而保护这些权重不被过度改变，以维持模型对旧任务的记忆。EWC算法的工作原理基于Fisher信息矩阵，该矩阵衡量了每个权重在先前任务中的重要性。具体来说，EWC通过计算每个权重的重要性，并在训练新任务时对这些重要权重施加正则化约束，从而减缓它们的变化速度。
「弹性权重巩固（EWC/Elastic Weight Consolidation）」。
qq_68308828的博客
10-25 2745
什么是突触巩固
EWC（Elastic Weight Consolidation，弹性权重固化）Overcoming catastrophic forgetting in neural networks
qq_43391414的博客
11-15 831
神经网络在顺序学习多个任务时（如先学猫狗分类，再学汽车分类），往往会在学习新任务时彻底遗忘旧知识。这是因为新任务的梯度更新覆盖了旧任务学到的参数。💡 人类不会这样——学会骑车后，多年不骑也能快速恢复。
Elastic Weight Consolidation(EWC) for Life long Learning
qq_41858347的博客
04-11 8194
Life Long learning 连续学习的概念大概是在2016年以后才开始流行的，虽然今天的工业界中几乎都是使用一个或多个模型对应一个任务，但是为了让机器更像人，让机器能同时解决多个任务，同时把过去的知识运用到新的任务上，也是值得研究的课题。 方法 Regularization-based methods Parameter isolation methods 我们要实践的就是这种非常...
NIPS 2020 | Few-shot Image Generation with Elastic Weight Consolidation 阅读笔记&部分翻译
ybacm的博客
12-10 3353
作者提出当进行 transfer 时不应该将所有的权重参数一视同仁，然后讨论了迁移前后网络中各层的权重变化率，证明有一些重要的参数是不需要大幅度改变的，最后在损失函数中添加了 EWC 损失，做到了不同参数不同对待，而且 EWC 损失不需要学习，效果很好。
Elastic Weight Consolidation
最新发布
11-16
Elastic Weight Consolidation（EWC）是一种用于解决神经网络中灾难性遗忘问题的方法，能使神经网络在学习新技能时保留先前学习任务的知识，属于基于正则化的模型长期学习方法 [^1][^4]。 从原理上看，可将为每个...
yolov5实现弹性权重巩固（Elastic Weight Consolidation, EWC）
07-19
我们计划在YOLOv5的增量训练中引入EWC（弹性权重巩固）来防止灾难性遗忘。EWC的核心思想是通过正则化惩罚项来保护对旧任务重要的参数，使其在新任务训练过程中变化尽可能小。具体来说，我们需要： ...
论文速看 Few-shot Image Generation with ElasticWeight Consolidation
weixin_45372906的博客
12-31 1692
Paper Glue: Few-shot Generation with ElasticWeight Consolidation.Much RESPECT for the AUTHORS.
权重计算方法_终身持续学习-可塑权重巩固（Elastic Weight Consolidation）
weixin_29585583的博客
01-04 1666
回过头来梳理了一下EWC方法，在持续终身学习里面很经典的一个方法，Deepmind写的晦涩难懂x，当时折腾了好久才理解。。。。。因为自己有点菜√条件和目标论文中，假设存在两个任务A和B (可以推广为旧任务和新任务)，数据集分别为D和D。模型学习完任务A后，继续学习任务B，并且不再使用任务A的数据，只使用任务B的数据。我们想让模型在这种情况下学习完任务B后，能够在任务A和B上都有不错的表现。问题分析...
持续学习中避免灾难性遗忘的Elastic Weight Consolidation Loss数学原理及代码实现
deephub
07-13 6107
我们看到了一种允许神经网络在继续学习新任务的同时保留其先前学习的知识的技术，虽然EWC在解决灾难性遗忘方面效果显著，但仍有一些挑战，例如对费雪信息矩阵的计算和存储需求较高，以及在复杂的深度神经网络结构中的实施复杂性。重播记忆（Replay Memory）：保存旧数据以便周期性地重训练。联合训练（Joint Training）：同时训练网络以处理旧任务和新任务。元学习方法（Meta-learning Approaches）：通过元学习算法来优化模型，以便快速适应新任务而不会忘记旧任务。
终生学习(增量学习)概述
陈建驱的博客
08-20 3682
概念 终生学习(Life Long Learning,LLL)，又称为Continuous Learning、Never Ending Learning、Incremental Learning，就是机器可以不断学习新知识，而不会忘记学过的知识。LLL需要解决三个问题：Knowledge Retention、Knowledge Transfer、Model Expansion。本文内容总结自李宏毅的PPT。 1.Knowledge Retention 问题提出 Knowledge...
连续学习之 -- Overcoming catastrophic forgetting in neural networks
csuwoshikunge的博客
12-14 2681
Overcoming catastrophic forgetting in neural networks0. Continual learning basics1. 主要内容1.0 EWC (elastic weight consolidation)References 本篇博客，主要分析 “Overcoming catastrophic forgetting in neural networks” 一文的主要思想， 来了解连续学习中的参数正则这一类方法。这是来自2016的工作，它将continual l
李宏毅机器学习课程笔记
godblesstao的博客
02-28 1888
李宏毅机器学习课程笔记，持续更新~1. Convolutional Neural Network2. Recurrent Neural Network3. Graph Neural Network4. Generative Adversarial Network5. Auto-encoder6. Transformer7. ELMO, BERT, GPT1. Transfer Learning2. Anomaly Detection3. Attack Machine Learning Models4. Ex
【Mo 人工智能技术博客】持续学习浅谈
Mo 的博客
10-27 1478
【技术博客】持续学习浅谈 作者：陈文儒 1. 摘要 人在学习新知识的时候，能根据之前的知识很快的学习相似的知识，并且能不遗忘从前的知识。而机器，或者更准确一点说神经网络，在学习新任务的同时会出现一些问题——灾难性遗忘问题（catastrophic forgetting）。解决这个问题的方法我们称之为持续学习（continual learning）。本文重点探讨了近年来的持续学习的一些经典方法，旨在能够更好的了解这个问题，能够深入解决这个问题，能够为未来工作带来便利。 关键词：灾难性遗忘， 持续学习 2. 引
Continual Learning/Lifelong Learning/Incremental Learning
Si_ang_的博客
05-08 7988
朴素定义：持续学习就是随着时间的推移，不断地处理现实世界中连续的信息流（这些信息逐渐可用），在学习新知识的同时，还保留甚至整合优化旧知识的能力。精确理解：终身学习系统被定义为能够从连续的信息流中学习的自适应算法，随着时间的推移，这些信息被逐渐可用，并且需要学习的任务数量没有预定义（可以是无限的），重要的是，对新信息的调节应该在没有灾难性遗忘或干扰的情况下发生。通俗理解：一个模型学习随着时间推移不断增加的序列任务。
李宏毅机器学习第十二周
qq_54065775的博客
08-27 965
本周学习了机器终身学习（Life Long Learning）的多个方面。在终身学习的简介中，了解了这一方法的核心思想，即使计算机系统能够持续地学习和应用新知识以适应不断变化的环境和任务。在知识保留方面，探讨了多任务训练的限制，介绍了弹性权重保留（Elastic Weight Consolidation）和生成数据（Generating Data）等方法。在知识转移方面，比较了终身学习和迁移学习，讨论了衡量终身学习能力的方法以及梯度片段记忆（Gradient Episodic Memory，GEM）。
持续学习
Quentin_nb的博客
07-21 874
lifelong learning/Continuous Learning/Never ending Learning/Incremental Learning/灾难性遗忘（catastrophic forgetting）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值