TADAM:Task dependent adaptive metric for improved few-shot learning

最新推荐文章于 2025-05-09 10:55:28 发布
最新推荐文章于 2025-05-09 10:55:28 发布
阅读量3.9k 收藏 11
点赞数 5
CC 4.0 BY-SA版权
分类专栏： meta learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/liuglen/article/details/84193555
本文提出TADAM，一种任务依赖的度量学习方法，用于优化少样本学习。通过动态调整度量尺度和使用任务依赖的特征提取，TADAM减少了欧式距离和余弦相似度之间的差距，提高了模型的泛化能力。同时，通过辅助任务的协同训练，解决了任务条件学习的困难，提升了模型的训练效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文基于度量学习，发现简单的度量尺度会完全改变少样本学习参数更新的本质，同时提出了一个简单且有效的任务依赖的度量空间学习方法，可以根据不同的任务进行特征提取。通过度量缩放的方式，作者将余弦相似度与欧拉距离在少样本学习上的差距缩小了10%，也就是说度量的选择没有那么重要。另外，还提出了辅助任务协同训练，使得具有任务依赖性的特征提取更容易训练，并且具有很好的泛化能力

背景

考虑episodic形式的K-shot，C-way的分类问题

  • sample(support) set S={ (xi,yi)}i=1KC\mathcal{S}=\{(x_i,y_i)\}_{i=1}^{KC}S={ (xi​,yi​)}i=1KC​，样本集，C类每类K个样本
  • query set Q=(xi,yi)i=1q\mathcal{Q}={(x_i,y_i)}_{i=1}^qQ=(xi​,yi​)i=1q​，待分类样本
  • 相似度度量d：R2Dz→R\mathbb{R}^{2D_z} \rightarrow\mathbb{R}R2Dz​→R，d不需要满足一般度量的性质(非负，对称，可加性)，Dz表示特征提取后的维度，fϕ:RDx→rDzf_{\phi}:\mathbb{R}^{D_x}\rightarrow\mathbb{r}^{D_z}fϕ​:RDx​→rDz​
  • 为属于Sk\mathcal{S_k}Sk​每一个类别k中的所有样本找到一个唯一的特征表示ckc_kck​，ck=1K∑xi∈Skfϕ(xi)c_k=\frac{1}{K}\sum_{x_i\in S_k}f_{\phi}(x_i)ck​=K1​∑xi​∈Sk​​f
最低0.47元/天 解锁文章

200万优质内容无限畅学
TADAM: Task dependent adaptive metric for improved few-shot learning阅读笔记
a101330107的博客
01-25 3171
人类通过看少数样例甚至是一个样例后，就可以学会识别从未见过的新类别，当然我们希望机器也可以具备这样的能力，所以近些年few-shot learning得到了广泛的关注，它的目标可以概括为构建一个可以从少量标记数据中进行归纳的模型。这里我们举个例子来描述小样本算法中的一个经典任务。在5-way 5-shot任务中，我们有25张图片做为support set，其中包含5张猫类照片，5张狗类张片，5张人...
TADAM: Task dependent adaptive metric for improved few-shot learning
勤学如春起之苗，不见其增，日有所长
12-17 672
文章的主要贡献 metric scaling 在将距离d输入到softmax层之前，乘以一个系数α\alphaα，这样使得余弦和欧式距离区分度不那么明显，也使得模型的适应性更强；文中将α\alphaα分为两种情况讨论：即α→0\alpha\to0α→0 和α→∞\alpha\to\inftyα→∞，从文中公式（3）（4）可以看出，两种情况的第一项作用相同，都是最小化query 到其相应类别的...
Zero-shot、One-shot 和 Few-shot
最新发布
weixin_74152658的博客
05-09 514
随着大语言模型（如 GPT-4、PaLM）的发展，Zero-shot、One-shot 和 Few-shot 学习已经成为衡量模型泛化能力的重要标准。One-shot 学习是在任务描述的基础上，提供一个输入输出示例，模型通过示例掌握任务模式，但不对模型权重进行更新。Few-shot 学习是在任务描述的基础上，提供多个输入输出示例，通过示例展示任务的模式和多样性，模型依此进行推理。增强 Few-shot 效果：通过更智能的示例选择提升模型性能。任务描述 + 多示例：示例越多，模型对任务的理解越全面。
TADAM：task dependent adaptive metirc for improve few-shot learning论文解读
weixin_43316934的博客
06-19 969
本文为对TADAM的算法讲解和自己的理解 TADAM的贡献为以下三点： （1）、提出了度量的缩放（metric scaling），文章认为度量函数和损失函数之间有某种关系，通过对距离的缩放，能够减小不同度量函数之间的差距，比如余弦距离和欧式距离。 （2）、提出和任务相关(task conditioning)的嵌入模块，灵感来自于FILM （3）、提出了协同训练(co-train)作为辅助训练的手段。 文章的立足点在于，认为嵌入模块，度量函数，损失函数之间存在某种关系。对于特定的任务，这三者的关系是一定的，揭
Generalizing from a Few Examples: A Survey on Few-Shot Learning
weixin_38654615的博客
01-08 1994
Generalizing from a Few Examples: A Survey on Few-Shot Learning 论文地址：paper 这篇概述很简洁：简介的论文解读 一、 摘要 机器学习在有大量数据支撑的时候的效果很好，但是数据量很少的时候效果很差了。Few shot learning 是针对于这个问题场景下提出的解决办法，他可以迅速自适应到一个新的任务中去。FSL的核心问题是unreliable empirical risk minimizer，基于如何利用先验知识来解决问题，我们可以把
五大CV顶会，两大机器人顶会关于few-shot-learning论文汇总(NIPS,ICML,CVPR,ECCV,ICCV)
vanlish的博客
04-19 2390
五大CV顶会，两大机器人顶会关于few-shot-learning论文汇总1. NIPS1.1 2015NIPS1.2 2016NIPS1.3 2017NIPS1.4 2018NIPS1.5 2019NIPS2. ICML2.1 2015ICML2.2 2016ICML2.3 2017ICML2.4 2018ICML2.5 2019ICML3. CVPR3.1 2015CVPR3.2 2016CV...
论文阅读笔记《TADAM: Task dependent adaptive metric for improved few-shot learning》
深视
06-09 3067
核心思想   本文在基于度量学习的小样本算法的基础上提出了几点改进方案：度量放缩（Metric Scaling），任务条件（Task Conditioning）以及辅助任务合作训练（Auxiliary task co-training）。首先，对于度量函数d(z,ck)d(z,c_k)d(z,ck​)增加一个放缩系数α\alphaα，使得分类概率p(y=k∣x)=softmax(−αd(z,ck))p(y=k|x)=softmax(-\alpha d(z,c_k))p(y=k∣x)=softmax(−αd(
【论文阅读】【元学习/小样本学习】【NeurIPS2018】TADAM: Task dependent adaptive metric for improved few-shot learning
Egg_Hu的博客
02-10 490
【论文阅读】【元学习/小样本学习】【NeurIPS2018】TADAM: Task dependent adaptive metric for improved few-shot learningMetric ScalingTask conditioningArchetectureAuxiliary task co-training Metric Scaling 作者提出了metric scaling来提高小样本算法的性能。Prototypical Networks的文章中指出Euclidean dist
TADAM: Task dependent adaptive metric for improved few-shot learning||论文阅读
VIEO
06-05 1077
元学习论文总结||小样本学习论文总结 2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019 文章介绍：https://www.colabug.com/3795964.html 这篇文章的idea是在一般metric based few...
TADAM解读
周先森爱吃素的博客
06-19 2193
本文解读最近收录于CVPR2021的一篇MOT的工作，Online Multiple Object Tracking with Cross-Task Synergy，该方法实现了位置预测和关联嵌入之间的跨任务协同作用。
论文笔记：Prototypical Networks for Few-shot Learning
Learn2Learn的博客
08-14 1万+
Prototypical Networks for Few-shot Learning（用于小样本学习的原型网络） 论文中心思想：通过神经网络学会一个“好的”映射，将各个样本投影到同一空间中，对于每种类型的样本提取他们的中心点(mean)作为原型（prototype）。使用欧几里得距离作为距离度量，训练使得测试样本到自己类别原型的距离越近越好，到其他类别原型的距离越远越好。测试时，通过对到每类原...
小样本学习（few-shot learning）之——原形网络（Prototypical Networks）
热门推荐
m0_38031488的博客
12-27 4万+
Prototypical Networks for Few-shot Learning 摘要：该文提出了一种可以用于few-shot learning的原形网络（prototypical networks）。该网络能识别出在训练过程中从未见过的新的类别，并且对于每个类别只需要很少的样例数据。原形网络将每个类别中的样例数据映射到一个空间当中，并且提取他们的“均值”来表示为该类的原形（prototy...
CAML: FAST CONTEXT ADAPTATION VIA META-LEARNING
Glen_Liu
12-09 1558
本文同样以MAML为基础，与MAML不同的是，MAML在每个新任务上会更新所有的参数，而CAML将模型的参数分成了两部分，一部分是context parameters，作为模型的额外输入使其适应于单独的任务；另一部分是shared parameters，在任务间共享并通过元学习训练过程优化。CAML在每个新任务上只更新模型的context部分的参数，这样可以在使用更大的网络情况下避免在单一任务上...
【深度学习】Zero-shot Learning | One-shot Learning | Few-shot Learning
JNing
02-02 1万+
【深度学习】Zero-shot Learning | One-shot Learning | Few-shot Learning
Meta-Learning（0）
ML_amateur的博客
11-17 2919
近一段时间来，元学习（Meta-Learning）在深度学习领域获得了广泛的关注。与大部分其他的机器学习算法相比，元学习最突出的特点是“Learning to Learn”,它是要“学会如何学习”，即用机器学习的方法去学习训练方法。 Meta-Learning已经成为继Reinforcement Learning（增强学习）之后又一个重要的研究分支。对于人工智能的理论研究，呈现出了Artifici...
深入浅出Meta Learning - 让机器学会如何去学习
Mlooker的博客
05-21 3万+
主要看点这篇文章力求将我们从那些对AI空洞的幻想以及抽象的预测中带回到这片领域现在的真实情景中：在这里我们将分享这片领域的辉煌之处, 探讨其局限性, 并分析我们离鲁棒的多任务智能还有多远。Meta学习的初衷十分令人着迷：不仅仅构建能够学习的机器, 更重要的是让它学会如何去学习。这也就意味着Meta学习得到的算法能够依据自己表现的反馈信号及时地调整其结构和参数空间, 进而能够在新环境中通过累计经验提...
小样本目标检测中的相关文章
03-11
### 关于小样本目标检测的研究论文和资源 对于少样本目标检测 (Few-Shot Object Detection)，研究主要集中在如何利用少量标注数据实现高效的目标识别。这类方法通常借鉴迁移学习、元学习以及度量学习的思想。 #### 代表性工作 - **TADAM: Task Dependent Adaptive Metric for Improved Few-Shot Learning** 提出了基于任务依赖的自适应度量模型，通过引入条件批量归一化来增强特征表示能力[^5]。 - **FSCE: Fully Shot Cascade for Efficient Few-Shots Object Detection** 设计了一种级联框架，在不同阶段逐步细化预测结果，从而提高了检测精度并减少了假阳性率[^6]。 - **MetaDet: A Meta-Learning Approach For Few-Shot Object Detection** 利用了元学习机制，使得网络能够快速适应新类别，并且在仅有少数样例的情况下依然保持良好的泛化性能[^7]。 #### 数据集支持 为了促进该领域的发展，多个公开可用的数据集被创建用于评估算法效果： - **PASCAL VOC**: 尽管不是专门为少样本设计，但由于其丰富的标签信息，常作为基础训练集使用。 - **COCO-FewShot**: COCO 数据集中的一部分子集专门针对少样本场景进行了优化处理，提供了更贴近实际应用环境的任务设置[^8]。 ```python import torch from torchvision import models, transforms from PIL import Image def load_image(image_path): preprocess = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ]) img = Image.open(image_path).convert('RGB') input_tensor = preprocess(img) return input_tensor.unsqueeze(0) model = models.resnet18(pretrained=True) input_tensor = load_image("example.jpg") output = model(input_tensor) ```
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值