Paper reading: Multimodal Parameter-Efficient Few-Shot Class Incremental Learning

最新推荐文章于 2025-12-21 10:13:38 发布
原创 最新推荐文章于 2025-12-21 10:13:38 发布 · 233 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

文章探讨了小样本增量学习的挑战，提出continualparameter-efficientCLIP方法，结合轻量级可学习的提示来有效地利用CLIP模型的知识。该方法关注新知识的学习和防止旧知识的灾难性遗忘，通过提示信息在语言和视觉编码间促进学习迁移，并应用prompt规则化增强网络性能。

小样本增量学习的问题：新知识的学习和避免旧知识灾难性遗忘。

提出continual parameter-efficient CLIP减少不同学习阶段的信息损失。

利用CLIP with light-weight learnable prompts处理小样本类增量学习，可以很好地利用大模型CLIP中的知识经验信息。

对于语言和视觉编码，依赖于科学系的提示信息（prompts），以能够在不同阶段间转移学习。同时引入propompt规则化来提高网络性能，防止灾难性遗忘。

框架图：

我是家家
关注
Multimodality Helps Unimodality:Cross-Modal Few-Shot Learning with Multimodal Models
LuvLive的博客
02-21 578
Multimodality Helps Unimodality: Cross-Modal Few-Shot Learning with Multimodal Models
FEDAT:A Communication-Efficient Federated Learning Method With Asynchronous Tires Under Non-IID Data
qq_44026293的博客
12-11 3192
背景 目前的联邦学习架构存在着以下问题： 流浪者问题(straggler problem)：由于数据的异构和通信效率的不一致，中央服务器需要等待最慢的那个设备把数据返回之后才能进行下一轮的训练 大量的设备需要将自身的模型参数上传给服务器，这构成了系统的传输瓶颈 并且现有的很多联邦学习算法不能同时解决上面两个问题，一些研究者基于传统的联邦学习算法提出了异步训练的新训练架构，但是这种新的异步训练方法往往会造成更严重的通信开销 贡献 本篇论文为了解决上面两个问题，提出了一种新型的联邦学习方法FedAT，这种算
【技术突破】小样本学习融合多模态登Nature！模型效果提升1.5倍实现方案
2501_90555291的博客
02-17 954
文章介绍了一种新的多模态元学习方法，用于解决多模态少样本学习中的挑战，特别是视觉和语言模态之间的大域差距。研究者们提出了一个名为多模态元学习器的模型，该模型通过一个轻量级的元映射器（meta-mapper）网络，有效地桥接了冻结的大规模视觉和语言模型，并利用它们已经学习到的能力。文章中，作者利用了最近多模态基础模型（如CLIP）的跨模态特性，提出了一种简单的跨模态适应方法，通过将类别名称作为额外的单样本训练数据，使用简单的线性分类器就实现了视觉-语言适应的最新性能。自动驾驶遇到极端场景就"失明"？
少样本学习论文分享：多模态和类增量学习
weixin_43838187的博客
09-25 956
本文的背景是三个关键挑战的交汇点，模拟了现实世界AI系统需要持续学习的场景：类增量学习：模型需要在不遗忘旧类别知识的情况下，持续学习新的类别。例如，一个动物分类器已经学会了“猫”和“狗”，现在要学习“兔子”，但不能忘记如何识别猫和狗。核心挑战是灾难性遗忘。少样本学习：新增的类别只有极少数标注样本（例如，每个新类只有1-5张图片）。这加大了学习的难度，因为模型很难从少量数据中充分学习新类的特征，同时更容易因微调而产生过拟合，进而加剧对旧类的遗忘。
Few-Shot Class-Incremental Learning from anOpen-Set Perspective论文笔记
weixin_47269893的博客
03-27 1052
一个Few-Shot Class-Incremental Learning (FSCIL)模型，需要在所有类上表现良好，无论它们的表示顺序如何或是否缺乏数据。它还需要对需要对较少的数据 (one-shot scenario) 具有鲁棒性，并且容易适应该领域出现的新任务目前的SOTA方法仅使用class-wise average accuracy类平均精度来评价模型的性能，无法评估是否由于类不平衡和数据不平衡存在prediction bias预测偏差；
一文读懂小样本类增量学习(Few-shot Class Increnmental Learning)
qq_63905452的博客
11-06 9193
本人对小样本类增量学习的一些浅薄认知
小样本学习再发Nature！与多模态结合，创新拉满！模型性能飙升1.5倍
m0_59164304的博客
10-21 2000
模型ZS-DeconvNet，不仅在极低训练数据需求下，提升图像分辨率超过1.5倍衍射极限，还在信噪比上实现了10倍的降低！除此以外，其在CVPR、ECCV、ICLR等顶会上，也呈霸榜状态！像是用于小样本增量学习的CPE-CLIP、跨模态小样本学习CMFL、多模态小样本元学习MMFL等。主要在于，小样本学习能够在数据稀缺的情况下进行有效学习，而多模态数据提供了丰富的信息来源。两者结合对提高模型性能、计算效率，解决数据稀缺问题，大有裨益！
AAAI-19录用论文清单
TomRen
01-28 1万+
AAAI-19于1月27日在夏威夷召开，今年是33届会议。 会议录用论文清单, workshop16个，tutorials24个。 标题的词云分析： 作者单位词云(按作者人数计算/一篇文章可能有多个作者)： picture from lonelyplanet.com 下面给出接收论文的列表： 第一个数字表示投稿的序号&内容可能有缺失 9: CircConv: A S...
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(四)
热门推荐
yinizhilianlove的博客
02-21 2万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
＜＜视觉问答NeurIPS＞＞2021：Multimodal Few-Shot Learning with Frozen Language Models
金克丝的博客
05-18 1726
目录 摘要： 一、介绍 二、Related Work 三、The Frozen Method 3.1、Architecture Pre-trained Auto-regressive Language Models Vision Encoder Visual Prefix 3.2、Training 3.3、Interface at Inference Time 3.4、Few-Shot Learning Definitions 四、Experiments: A Multi-Mod..
UniAdapter: Unified Parameter-Efficient Transfer Learning for Cross-modal Modeling
qgh1223的博客
01-08 1630
预训练-微调范式在自然语言处理，计算机视觉和多模态建模中取得了巨大的成功，其中模型首先用大规模数据预训练，然后针对每个下游任务进行全微调。最近的研究进一步发现，通过引入额外的可训练模块来微调/调整基础模型以适应新的模态。近期的研究进一步发现，通过引入额外的可训练模块来微调/调整基础模型以适应新的模态，显著优于以前的研究，例如用于图像到视觉传输的时间建模模块。
【论文笔记】LayoutXLM: Multimodal Pre-training for Multilingual Visually-rich Document Understanding
OneYearIsEnough的博客
05-28 1398
文档信息抽取模型LayoutXLM
每日学术速递2.6
与君共勉，一起学习
02-06 1893
标题：神经崩溃启发下的特征分类器排列，用于小样本的分类增量学习作者：Yibo Yang, Haobo Yuan, Xiangtai Li, Zhouchen Lin, Philip Torr, DaCheng Tao 文章链接：https://openreview.net/forum?id=y5W8tpojhtJ项目代码：https://github.com/NeuralCollapseApplications/FSCIL摘要： 小样本的类增量学习（FSCIL）一直是一个具有挑战性的问题，因为
2024年7月22日Arxiv机器学习相关论文
数智笔记
07-22 1693
深度神经网络（DNNs）通过从大规模数据集中学习复杂的非线性映射，在各个领域取得了卓越的性能。然而，它们面临诸如高计算成本和有限的可解释性等挑战。为了解决这些问题，将物理与人工智能相结合的混合方法备受关注。本文介绍了一种名为“非线性薛定谔网络”的新型基于物理的人工智能模型，将非线性薛定谔方程（NLSE）视为用于从数据中学习包括非线性映射和记忆效应在内的复杂模式的通用可训练模型。现有的基于物理的机器学习方法使用神经网络来近似求解偏微分方程（PDEs）的解。
【文献阅读】DP-Site：一种基于双重深度学习的蛋白质-肽相互作用位点预测方法
weixin_42038527的博客
12-16 781
研究团队开发了一款名为DP-Site的AI工具，仅需分析蛋白质的氨基酸序列（“设计图”），就能精准锁定小分子药物的潜在“靶点”。DP-Site的核心创新在于其 “双专家会诊”模式。一位是“图像专家”，擅长分析序列的局部结构特征；另一位是“语义专家”，擅长理解序列的全局上下文信息。两者协同工作，使其预测综合性能（F1分数）达到0.661，超越此前所有方法。
深度学习常用工具和库介绍
最新发布
2301_81354580的博客
12-21 450
即使对于有一定基础的人来说，如果之前没有接触过python，学习深度学习的时候，对一些工具和依赖库依然会感到陌生，我自己就是学Java的，最近在学习深度学习，对 python接触不多，因此对其中一些工具并不熟悉，所以整理了一些常用的介绍一下，当然后续可能还会增加。
【深度学习】Mask R-CNN在温室番茄成熟度检测中的应用——基于ResNet18与FPN的多级特征融合分类系统
Lun3866buzha的博客
12-18 673
本文提出了一种基于改进Mask R-CNN的温室番茄成熟度检测系统，通过结合ResNet18骨干网络和FPN多级特征融合技术，实现了对不同成熟度番茄的高精度识别。系统采用5000张标注图像进行训练，通过数据增强提高模型鲁棒性，最终在测试集上达到92.3%的准确率和89.7%的mAP。实际部署采用边缘计算设备，处理速度达20FPS，显著提升了番茄采摘效率。实验表明，该系统在复杂光照条件下表现稳定，为智能农业提供了有效的技术解决方案。
Pytorch经典卷积神经网络-----激活函数篇
2301_77958892的博客
12-18 749
在神经元的数学表达式 (y = h(wx+b)) 中，h、w、b 分别代表激活函数、权重参数、偏置参数，三者是构成单个神经元的核心要素，共同实现对输入信号的加权变换与非线性映射其中h则为激活函数一个非线性函数，用于对线性变换结果 (wx+b) 进行映射，让神经元具备非线性表达能力。核心作用：如果没有激活函数，无论神经网络有多少层，最终输出都是输入的线性组合（多层线性变换等价于单层线性变换），无法拟合复杂的非线性任务（如图像分类、语音识别）。
UniS-MMC: Multimodal Classification via Unimodality-supervised Multimodal Contrastive Learning
09-22
用户明显对多模态机器学习很感兴趣，之前还专门提到论文全称Unimodality-supervised Multimodal Contrastive Learning。考虑从核心思想开始解释：这个模型的关键在于用单模态监督信号来优化多模态对比学习，解决模态...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值