Few-Shot Class-Incremental Learning via Relation Knowledge Distillation 閱讀筆記

最新推荐文章于 2023-12-21 16:29:45 发布
原创 最新推荐文章于 2023-12-21 16:29:45 发布 · 943 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #pytorch

這篇論文來自 2021 AAAI
屬於小樣本增量學習

 

Relation原因

具體而言，IKD 方法僅約束原始網絡的響應與在新任務中學習到的單個示例的響應之間的差異。 結果，對於許多人工智能應用（例如圖像分類和類增量學習）很重要的點之間的相互關係不可避免地被忽略了。

顯然，樣本之間存在大量的相關信息。 例如，貓通常更像狗，而不是汽車。 這種關係可以作為學習順序任務的有用先驗。 因此，它提供了一種更有效的方法，不僅可以約束特徵空間中樣本的位置，還可以約束它們在few shot class incremetnal learning問題中的關係。

構建ERG, examplar挑選

Reason:

However, the randomly-selected exemplars can not well represent data of different classes from the old network in the FSCIL scenarios. 

設定每個class要挑選K個作為examplar

The P(p, q) i

最低0.47元/天 解锁文章
【增量学习】2022 KDD Geometer: Graph Few-Shot Class-Incremental Learning via Prototype Representation
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
06-08 756
在许多实际场景中，图随着新节点和边的出现而演变。由于新出现或缺乏探索，新类别逐渐出现，并且很少有标记。在本文中，专注于这个具有挑战性但实用的图少样本类增量学习（GFSCIL）问题，并提出了GEOMETER。通过找到最近的类原型来预测节点的标签，通过观察几何接近度、均匀性和可分离性来学习和调整基于注意力的原型。进一步引入了教师-学生知识蒸馏和有偏抽样，以分别缓解灾难性遗忘和不平衡标签问题。...
论文精读-Enhancing Few-Shot Class-Incremental Learningvia Training-Free Bi-Level Modality Calibration
m0_62653520的博客
06-28 885
本文核心就是提出一种高效的免训练双层级模态校准策略。首先分别在视觉和文本模态内优化分类器估计。然后融合视觉和文本模态的知识（结合图像特征与LLM生成的类别描述） 通过集成协方差度量和最近邻度量的推理策略，进一步提升了预测精度我应该会先写简单的实验，再写困难的方法分析 我觉得对于模型架构的形成代码大家应该都知道了 如果不清楚可以看我之前写的博客 十分钟学会Pytroch系列文章 所以可能我后面写对于代码不会有那么多 我还没有去复现。
Raki的读paper小记：SUBSPACE REGULARIZERS FOR FEW-SHOT CLASS INCREMENTAL LEARNING
Raki_J的博客
02-25 1109
Abstract & Introduction & Related Work 研究任务 已有方法和相关工作 Few-shot and incremental learning Learning class representations Learning with side information from language 面临挑战 创新思路 这种方法的关键是一个新的子空间正则化方案系列，它鼓励新类的权重向量接近于现有类的权重所跨越的子空间，可以直接扩展以纳入关于新类的额外背景信息
Few Shot Incremental Learning with Continually Evolved Classifiers论文详解 基于持续进化分类器的小样本类别增量学习CVPR2021
祥瑞的技术博客
05-10 3786
Few Shot Incremental Learning with Continually Evolved Classifiers CVPR2021，由新加坡南洋理工大学 本文利用Graph即图模型，将拓扑结构与增量模型向结合，从而取得不错的效果。 类似论文，均是基于双阶段的增量模型，一个是特征提取模块，另一个是分类器模块。 对于Rehearsal的方法而言，特征提取模块可能一起更新。 对于本文的方法而言，特征提取模块一旦初始训练好，就固定下来，只更新分类器模块。本文的分类器模块与GAT(.
[arxiv 2020] Few-Shot Class-Incremental Learning via Feature Space Composition
一亩高粱
07-02 1707
小样本类别增量学习——组合嵌入空间
Paper reading:Few-Shot Class Incremental Learning Leveraging Self-Supervised. CVPR2022workshop
家家的专栏
06-26 780
本文研究利用自我监督学习的进步来纠正过度适应和灾难性遗忘，进而提高性能。首先探索在监督和自监督模型中学习到的特征串联基础上，训练轻量级特征融合+分类器。利用基类数据中的样本来学习监督模型，其中基类中大量的数据可以得到利用。利用大量未标注数据进行自监督模型的学习。利用融合后的特征来学习分类器，会取得比较好的性能。此外，文中还利用一个高斯生成器来减少小样本类增量学习过程中的灾难性遗忘问题...
Few-Shot Class-Incremental Learning from anOpen-Set Perspective论文笔记
weixin_47269893的博客
03-27 1048
一个Few-Shot Class-Incremental Learning (FSCIL)模型，需要在所有类上表现良好，无论它们的表示顺序如何或是否缺乏数据。它还需要对需要对较少的数据 (one-shot scenario) 具有鲁棒性，并且容易适应该领域出现的新任务目前的SOTA方法仅使用class-wise average accuracy类平均精度来评价模型的性能，无法评估是否由于类不平衡和数据不平衡存在prediction bias预测偏差；
[论文分享] Self-Promoted Prototype Refinement for Few-Shot Class-Incremental Learning
qq_40825479的博客
12-29 3144
这篇论文是CVPR’ 2021的一篇Few-Shot增量学习(FSCIL)文章 No. content PAPER {CVPR’ 2021} Self-Promoted Prototype Refinement for Few-Shot Class-Incremental Learning URL https://openaccess.thecvf.com/content/CVPR2021/papers/Zhu_Self-Promoted_Prototype_Refinement_for
Few-Shot Class-Incremental Learning via Class-Aware Bilateral Distillation
weixin_44370695的博客
07-13 489
灾难性遗忘：
阅读笔记Y CVPR2021 Self-Promoted Prototype Refinement for Few-Shot Class-Incremental Learning FSCIL自提高原型提
weixin_47340312的博客
07-18 702
fewshot文章阅读
FewShot-CVPR:通过预测激活参数来进行少量图像识别
05-11
通过预测激活参数来进行少量图像识别 通过预测激活参数来实现一次快速学习的火炬实施： ，，， 在2018年计算机视觉与模式识别会议（CVPR）上 @inproceedings{Act2Param, title = {Few-Shot Image Recognition by Predicting Parameters from Activations}, author = {Siyuan Qiao and Chenxi Liu and Wei Shen and Alan L. Yuille}, booktitle = {CVPR}, year = {2018} } 介绍 我们的方法的灵感来自于对图像进行最终分类的最终完全连接层之前的激活之间的紧密关系以及该完全连接层的参数。 我们将t-SNE结果绘制在对ImageNet的子集进行预训练的50层ResNet的全连接层之
Incremental Few-Shot Learning with Attention Attractor Networks
VIEO
03-14 1640
https://www.jianshu.com/p/fdd4f78bcf0b 多伦多大学提出注意式吸引器网络，实现渐进式少量次学习 引言 通常，机器学习分类器的训练目标是识别一组预定义的类别，但是很多应用往往需要机器学习能通过有限的数据灵活地学习额外的概念，而且无需在整个训练集上重新训练。 这篇论文提出的渐进式少量次学习（incremental few-shot learning）能...
Learning with Fantasy: Semantic-Aware Virtual Contrastive Constraint for Few-Shot Class-Incremental
weixin_44370695的博客
08-05 359
Few-shot class-incremental learning (FSCIL) aims at learning to classify new classes continually from limited samples without forgetting the old classes.However, in this work, we find that the CE loss is not ideal for the base session training as it suffer
论文阅读笔记《Few-Shot Class-Incremental Learning》
深视
06-19 8999
核心思想   本文提出一种用于解决小样本类别增量学习（few-shot class-incremental learning, FSCIL）的算法（TOPIC）。首先解释一下什么是小样本类别增量学习，模型首先在一个大规模的基础数据集D(1)D^{(1)}D(1)上进行训练，然后会不断增加新的数据集D(t),t>1D^{(t)}, t>1D(t),t>1，且数据集中的类别与基础数据集中的不同，样本数量也较少，在学习新的样本过程中，还不能忘记之前学习过的样本。这一过程面临两个难题：灾难性遗忘和
FSCIL论文详解 Few-Shot Class-Incremental Learning， CVPR2020
祥瑞的技术博客
04-26 7263
CVPR2020 论文地址： https://arxiv.org/pdf/2004.10956.pdf CVPR2020 本篇，FSCIL，西交大提出的。将NG网络运用到增量学习之中。 ECCV2020，TPCIL，也是西交大的同一个人发的，Topology Preserving Class-Incremental learning，同样的框架，即CNN+拓扑结构，部分内容换了一个写法。 CVPR2021与本篇非常类似，Few-Shot Incremental Learning with Cont
一文读懂小样本类增量学习(Few-shot Class Increnmental Learning)
qq_63905452的博客
11-06 9162
本人对小样本类增量学习的一些浅薄认知
【Few-Shot Incremental Learning】SAVC in CVPR 2023 个人理解
研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习
12-21 2314
Learning with Fantasy: Semantic-Aware Virtual Contrastive Constraint for Few-Shot Class-Incremental Learning in CVPR 2023的重心在特征提取上，通过Fantasy Set进行数据增强和采用MoCo的训练策略进行对比学习得到一个强大的特征提取器是主要贡献。
FEW-SHOT CLASS INCREMENTAL LEARNING
weixin_44370695的博客
07-07 296
在第t个session的时候优化。
每日学术速递2.6
与君共勉，一起学习
02-06 1891
标题：神经崩溃启发下的特征分类器排列，用于小样本的分类增量学习作者：Yibo Yang, Haobo Yuan, Xiangtai Li, Zhouchen Lin, Philip Torr, DaCheng Tao 文章链接：https://openreview.net/forum?id=y5W8tpojhtJ项目代码：https://github.com/NeuralCollapseApplications/FSCIL摘要： 小样本的类增量学习（FSCIL）一直是一个具有挑战性的问题，因为
Learning with Fantasy: Semantic-Aware Virtual Contrastive Constraint for Few-Shot Class-Incremental Learning复现这篇论文
最新发布
09-25
复现《Learning with Fantasy: Semantic-Aware Virtual Contrastive Constraint for Few-Shot Class-Incremental Learning》这篇论文可按以下步骤进行： ### 1. 准备工作 - **获取代码**：该论文的代码地址为https://github.com/zysong0113/SAVC ，可从该地址下载代码到本地 [^2]。 - **明确任务**：论文主要解决少样本类增量学习（Few-shot class-incremental learning，FSCIL）问题，即在有限样本下持续学习新类别且不遗忘旧类别的分类任务 [^3]。 ### 2. 数据处理 - **初始数据处理**：利用初始样本充足的训练数据训练特征提取器。对初始训练样本进行数据增强（增强次数和顺序确定）以扩充初始数据集。例如，可采用特定的图像旋转、翻转等操作，且后续所有增强都按此方式进行 [^4]。 - **增量数据处理**：计算增量训练数据（少样本）中新增类别的原型，通过数据增强和特征提取后得到特征的均值来确定 [^4]。 ### 3. 模型训练 - **特征提取器训练**：采用MoCo的学习策略构建对比损失，结合标准交叉熵分类损失更新模型。扩充版的初始训练数据集经训练好的特征提取器（训练好后冻结）输出特征，并据此计算各初始类别不同增强方式下的原型（特征均值） [^4]。 - **联合优化**：论文采用分类对比任务联合优化框架，同时还涉及每个增量会话的微调更新 [^2]。 ### 4. 模型测试 - **相似度计算与分类**：对测试样本进行数据增强，将增强后的测试样本输入特征提取器得到特征，并对测试特征和所有原型进行标准化。计算测试特征与各原型的平均相似度，将测试样本分类为平均相似度最高的类 [^4]。 ### 代码示例 由于不清楚代码仓库中的具体实现，以下是一个简单示意代码说明数据增强和原型计算的过程： ```python import torch import torchvision.transforms as transforms # 数据增强示例 transform = transforms.Compose([ transforms.RandomRotation(10), transforms.RandomHorizontalFlip() ]) # 假设初始训练数据 initial_data = torch.randn(100, 3, 32, 32) # 100个样本，3通道，32x32图像 augmented_data = [] for sample in initial_data: augmented_sample = transform(sample) augmented_data.append(augmented_sample) augmented_data = torch.stack(augmented_data) # 计算原型示例 def calculate_prototype(data): return torch.mean(data, dim=0) prototype = calculate_prototype(augmented_data) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值