增量学习——Maintaining Discrimination and Fairness in Class Incremental Learning——CVPR2020

最新推荐文章于 2025-05-16 14:00:00 发布
最新推荐文章于 2025-05-16 14:00:00 发布
阅读量1.3k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： 增量学习 计算机视觉 机器学习 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/david8766/article/details/107340402
本文探讨了在增量学习中使用知识蒸馏保持分类器的判别力，并通过一种称为权重对齐的方法来维持公平性，以解决最后一层全连接层权重在类增量学习中高度偏置的问题。该研究基于《大规模增量学习》和《通过再平衡学习统一分类器》两篇文章，采用复习策略，聚焦于一个具体问题并取得了良好的实验结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

Abstract

knowledge distillation; 造成灾难性遗忘的很大一个原因是the weights in the last fully connected layer are highly biased in class-incremental learning;

Introduction

在这里插入图片描述

Conclusion

maintain the discrimination via knowledge distillation and maintains the fairness via a method called weight aligning

Key points: code开源；这篇文章的思路是基于《large scale incremental learning，CVPR2019》和《Learning a unified classifier via rebalancing》做的；实验性文章；也是基于rehearsal strategy；找到一个切入点做一个工作，做出好的实验结果

91、Symmetry Axioms in Machine Learning
ol7890123的博客
06-25 11
这篇博文深入探讨了机器学习中的对称公理（Symmetry Axioms），强调其在提升模型公平性、一致性及可靠性方面的重要作用。文章从基础概念讲起，涵盖了数据对称、算法对称和输出对称，并详细分析了如何在多种机器学习算法中应用对称原则，包括线性回归、决策树、神经网络、集成方法、无监督学习、时间序列分析、图神经网络、生成模型、强化学习、迁移学习、多智能体系统以及模型可解释性。此外，还讨论了实施对称性所面临的挑战及解决方案，并提供了多个实际案例与应用场景，帮助读者全面理解对称性在机器学习中的广泛应用。
读书笔记-增量学习-Large Scale Incremental Learning
谷粤狐的博客
10-09 1518
一篇2019年关于增量学习Incremental Learning的论文。 论文的应用场景是大规模（Class）数据集的增量学习。文中提及现有的增量学习方法均存在两个致命问题： the data imbalance between the old and new classes（新、旧类的数据不平衡） the increasing number of visually similar classes（数据集中相似的类数量增加） 针对这两个问题，作者发现整个模型的最后一个全连接层对新的数据类别有严重的偏
[论文阅读] Maintaining Discrimination and Fairness in Class Incremental Learning
xiongxyowo的博客
03-25 2709
增量学习：机器学习领域中的资源高效利用秘籍
最新发布
weixin_62782025的博客
05-16 1002
增量学习是一种让AI模型逐步学习并不断强化自身知识，同时不遗忘过往信息的学习方法。与传统批量学习不同，增量学习在新数据到达时立即更新模型，适用于数据按顺序到达或难以一次性处理的场景。
【连续学习之WA算法】2019年CVPR顶会论文：Maintaining Discrimination and Fairness in Class Incremental Learning
BetterBench的博客
12-06 738
年份：2020会议： 2019CPVR本文提出了一种解决类别增量学习中灾难性遗忘问题的算法，通过知识蒸馏（KD）保持旧类之间的区分度，并引入权重对齐（WA）方法校正全连接层中偏差的权重，以维持新旧类别之间的公平性。
增量学习(个人随心所写)
sunjunlishi的专栏
08-19 1965
一个增量学习的演示思路，不错 http://cs.nju.edu.cn/rinc/SOINN.html
增量学习
热门推荐
Losteng的博客
04-04 2万+
最近在看周老师的机器学习看到关于增量学习的概念，之前没有接触过就在网上查了查，现在总结一下 增量学习(Incremental Learning)是指一个学习系统能不断地从新样本中学习新的知识，并能保存大部分以前已经学习到的知识。增量学习非常类似于人类自身的学习模式。 因为人在成长过程中，每天学习和接收新的事物，学习是逐步进行的，而且，对已经学习到的知识，人类一般是不会遗忘的。  
【CVPR2022】论文列表与下载——PartThree
TomRen
06-12 5000
【CVPR2022】完整论文列表
深度学习学习笔记——C2W3-11——深度学习框架
预见未来to50的专栏
01-09 679
但至少在短期内，根据你对语言的偏好，如你是更喜欢Python、Java还是C++，以及你正在从事的应用程序，如计算机视觉、自然语言处理、在线广告等不同应用，我认为多个框架都可能是一个好选择。举个例子，希望你理解如何进行矩阵乘法，并且应该能够自己实现代码来完成矩阵乘法，但当你构建非常大的应用程序时，你可能不想自己实现矩阵乘法函数，而是希望调用一个可以更高效地为你完成任务的数值线性代数库。此外，由于这些框架经常在逐月发展和改进，如果你想了解这些框架的一些优缺点，可以自己做一些互联网搜索。
【CVPR2020】计算机视觉与模式识别会议论文完全清单_Part2
TomRen
06-11 3662
CVPR 2020 的论文已经于6月10号放出 由于篇幅限制分两部分发出—>part1 Todo：word-cloud Relative Interior Rule in Block-Coordinate Descent Author: Tomas Werner,Daniel Prusa,Tomas Dlask Learning Combinatorial Solver for Graph Matching Author: Tao Wang,He Liu,Yidong Li,Yi Jin,Xi.
Python学习——Lists and Dictionaries
阿木寺的博客
02-12 1179
本节介绍Python中的列表/序列(List)知识点。 Lists是Python中最基本的数据结构。序列中的每个元素都分配一个数字，即索引。 为了方便起见，”列表“或”序列“也泛指Lists
增量学习 （Incremental Learning)
ReaFly的博客
04-14 6356
语义分割中的增量学习 语义分割中的增量学习设置为：在第t个step，学习新的类别ct,ct的label仅包含当前学习的ct类别，所以在学习时要保证既学习到当前类别知识，又不能灾难性遗忘之前的类别知识。 在语义分割的增量学习任务中，要解决的重点问题是当前的ground truth的background 类别，可能既包含过去学习过的真实类别，又包括未来要学习的潜在类别。 1. 《Modeling the Background for Incremental Learning in Semantic Segmen
增量学习，，，
weixin_36670529的博客
06-06 1600
增量学习作为机器学习的一种方法，现阶段得到广泛的关注。在其中，输入数据不断被用于扩展现有模型的知识，即进一步训练模型，它代表了一种动态的学习的技术。对于满足以下条件的学习方法可以定义为增量学习方法： 可以学习新的信息中的有用信息 不需要访问已经用于训练分类器的原始数据 对已经学习的知识具有记忆功能 在面对新数据中包含的新类别时，可以有效地进行处理 [描述来源：Polikar R, Upda......
最新综述 | 万字长文带你入门增量学习
CV_Autobot的博客
02-14 2万+
作者|派派星 编辑|CVHub点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【全栈算法】技术交流群导读增量学习(Incremental Learning)，亦称为持续学习(Continual Learning)或终身学习(Life-Long Learning)，是一种机器学习方法，它允许模型通过对新数据进行持续学习而不是重头训练整个模型。这种方法允...
增量学习~~
whaosoft143ai的博客
10-02 644
在本文的开始，我们会向大家介绍的介绍下引入增量学习的必要性，继而引出最新的三种能够有效利用有效标签数据范式的增量学习方法，包括半监督学习、小样本学习以及自监督学习。是一种基于图的增量小样本学习器。 whaosoft aiot http://143ai.com 在主动学习中，学习代理会选择最有影响力的示例，由人类专家进行注释。这显着降低了标记成本，因为只需一小部分示例足以训练一个好的模型。这方面的代表工作有《Towards robust and reproducible active learning us
增量学习【1】
m0_52414727的博客
05-05 1403
如果先学习任务1，再学习任务2，那么机器就忘记任务1学过的东西了。任务增量学习的挑战，不是或不应该只是防止灾难性的遗忘，而是找到有效的方法来分享学习表示跨任务，优化性能和计算复杂性和使用信息学习在一个任务来提高性能在其他任务（也就是说，实现积极的向前或甚至向后转移任务之间）。我们不仅希望机器可以记住过去的学习到的知识，还希望机器人以前学过的知识可以应用到后面的任务中，即知识迁移。这个时候，你可以直接使用之前保存下来的模型的参数来作为这一任务的初始化参数，然后在训练的过程中，依据结果不断进行一些修改。
yolo增量学习目标检测
02-13
### YOLO Incremental Learning Object Detection Implementation and Methods Incremental learning aims to enable models like YOLO to learn new classes without forgetting previously learned information while adapting efficiently with minimal data. Traditional deep convolutional neural networks require extensive offline training on large annotated datasets, which limits their ability to adapt incrementally or online [^2]. However, recent advancements have explored ways to integrate incremental learning into object detectors such as YOLO. #### Challenges in Implementing Incremental Learning for YOLO The primary challenge lies in preventing catastrophic forgetting when introducing new categories. This phenomenon occurs because updating model parameters based solely on newly introduced samples can overwrite knowledge about earlier seen objects. To address this issue, several strategies are employed: - **Knowledge Distillation**: A technique where an older version of the network acts as a teacher guiding the newer iteration during training by providing soft targets alongside ground truth labels. - **Feature Replay Mechanisms**: Storing past feature representations allows maintaining historical context even after encountering novel instances. Techniques include storing actual images from previous tasks or generating synthetic ones through generative adversarial networks (GANs). - **Class-Incremental Loss Functions**: Designing loss functions that penalize significant changes between old and updated weights helps maintain stability across task transitions. ```python import torch.nn.functional as F def class_incremental_loss(old_logits, current_logits): """Computes distillation loss.""" T = 2.0 # Temperature scaling factor return F.kl_div( F.log_softmax(current_logits / T, dim=1), F.softmax(old_logits / T, dim=1), reduction='batchmean' ) * (T * T) # Example usage within training loop for batch_idx, (data, target) in enumerate(train_loader): optimizer.zero_grad() output = yolo_model(data) ce_loss = criterion(output, target) if epoch > start_of_new_classes: distilled_loss = class_incremental_loss(stored_old_outputs[data_indices], output) total_loss = ce_loss + lambda_distill * distilled_loss else: total_loss = ce_loss total_loss.backward() optimizer.step() ``` Incorporating these mechanisms ensures better retention of pre-existing skills while acquiring proficiency over fresh concepts sequentially presented throughout deployment phases. For specific implementations tailored towards YOLO architectures, researchers often modify components responsible for bounding box regression along with classification heads according to chosen methodologies mentioned above. Additionally, fine-tuning only certain layers instead of retraining entire structures proves beneficial under resource-constrained environments typical among edge devices requiring real-time processing capabilities. --related questions-- 1. How does knowledge distillation contribute to mitigating catastrophic forgetting? 2. What role do GAN-based replay buffers play in preserving long-term memory within continual learning systems? 3. Can you explain how temperature scaling affects performance metrics in cross-task transfer scenarios involving CNN-based classifiers? 4. Which parts of the YOLO architecture typically undergo adjustments specifically designed for supporting continuous learning paradigms?
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值