Leveraging the Feature Distribution in Transfer-based Few-Shot Learning——论文翻译&笔记

最新推荐文章于 2025-03-20 09:27:15 发布
最新推荐文章于 2025-03-20 09:27:15 发布
阅读量2.7k 收藏 9
点赞数 5
分类专栏： 论文笔记 文章标签： 计算机视觉 深度学习 小样本学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36721800/article/details/109711924
版权

摘要

在基于迁移的小样本学习中利用特征分布
过去，优秀的backbone和有效的后处理，使得基于transfer的方法达到了最强的性能。基于这一思路，本文提出了一种新的基于transfer的方法，在两点做了改进：

  1. 对特征向量预处理，使其接近高斯分布
  2. 利用一种optimal-transport 启发式算法，进行预处理

1.Intro

基于迁移结构（也叫backbone结构）：通常训练的域与实际的域并不相同。所以，使用backbones提取的特征向量的分布非常复杂。因此，数据分布的强假设 会使得其方法不能很好的利用提取出的特征。所以，从两个方面解决了基于迁移的小样本学习问题。1，就是预处理特征使其拟合高斯。2，利用这个特定分布。（这个思想要归功于一个优秀的、基于最大后验和最优运输的算法）
在这里插入图片描述

2. 方法

2.1 问题定义：
Dbase 包含大量的有标签样本，来自K个类
Dnovel 也叫做task，包含少量的有标签样本（support set），以及一些无标签的样本(query set) 来自w个novel类。

注意support和query都属于Dnovel。
目标是预测query set中的无标签样本。
所以，w way，s shot。以及q个无标签的样本。
所以，Dnovel中总共有w（s+q）个样本。ws个有标签，wq个用来分类。

2.2 特征提取

首先，仅使用Dbase来训练神经网络的backbone。本文中，同时使用了两个backbone，即WRN+Resnet和Densenet。训练好的backbones（

最低0.47元/天 解锁文章
联邦学习中常见的Clients数据Non-IID非独立同分布总结
捡起一束光的博客
10-08 1万+
联邦学习中客户端数据Non-IID分布的五种类型。类型1：Feature distribution skew。类型2：Label distribution skew... 联邦学习中客户端之间Non-IID分布和我们在做机器学习任务时可能遇到的训练集与测试集分布不一致其实是一个道理......
On feature distributional clustering for text categorization
07-26
On feature distributional clustering for text categorization
梳理《Leveraging the Feature Distributionin Transfer-based Few-Shot Learning》
liuzhengjun3036的博客
09-15 1339
论文下载路径：https://arxiv.org/abs/2006.03806 代码下载路径：https://github.com/yhu01/PT-MAP 摘要：由于使用少量有标签样本导致不确定，使得小样本分类成为挑战难题。在过去几年里，提出了许多方法解决小样本分类，其中基于迁移方法被证实是性能最好的。沿着该脉络，本文针对两点提出新的迁移方法：1）预处理特征向量以至于它们更接近“类高斯分布”；2）借助预处理，使用最优化迁移思想的算法（直推（transdutive）情况下）。使用标准视觉基准，证实了..
Sinkhorn算法
最新发布
weixin_44012667的博客
03-20 984
Sinkhorn算法通过熵正则化和交替缩放，高效求解最优传输问题，广泛应用于需分布对齐的场景（如聚类均衡化、生成模型）。其核心价值在于将复杂的OT问题转化为可并行化的迭代过程，平衡了计算效率与解的合理性。
论文阅读笔记《Meta-Transfer Learning for Few-Shot Learning》
深视
05-28 2522
核心思想   本文提出一种基于迁移学习的元学习算法（Meta-Transfer Learning，MTL）用于解决小样本学习问题，通过对深层卷积神经网络的权重进行放缩（Scaling）和平移（Shifting），以适应新的样本任务。传统的迁移学习算法，通常是在一个数据集上进行预训练得到一个较好的初始模型，然后再替换掉最上层的全连接层和分类器（也可能不替换），在新的数据集上进行微调训练（finetune），最后实现从原始数据集到新数据集的迁移过程。但这种方式一方面要求新数据集要有足够多的数据量，支持深层卷积神
论文阅读笔记《Semantic Feature Augmentation in Few-shot Learning》
深视
06-12 3279
核心思想   本文提出利用语义信息对数据进行扩充的方法，来解决小样本学习问题。之前采用数据增强或者说数据集扩充方式的小样本学习算法，通常都是在图像级别或者说特征空间里进行扩充，但本文利用编码TriNet将特征空间映射到语义空间中，并在此进行数据增强，然后利用解码TriNet将扩充后的语义信息还原到特征空间，再进行分类。整个算法的流程如下图所示   首先，输入图像IiI_iIi​会经过一个采用ResNet-18结构的特征提取网络fΩf_{\Omega}fΩ​，该特征提取网络包含四个残差块，输出的特征图为fl
联邦学习中非独立同分布（No I.I.D.）几种情况
charlessun9的博客
09-30 1万+
介绍了当前联邦学习中非独立同分布的几种分类，从Dataset drift切入，然后举例介绍了5种分类的区别。
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
整理研究方向（1）【未完成】
qq_35780315的博客
07-26 2565
整理从交通流量预测发展到其他方向的团队文章，并研究调研我们可以研究的方向
生成对抗网络GANs（笔记一）主线
qq_21210467的博客
08-19 1万+
生成式对抗网络（Generative Adversarial Nets, GAN） 一、发展历程： 最开始接触GANs是因为想了解有关于在少量数据的情况下如何做数据增广。然后就了解到了DCGAN生成手写数字的案例，简直是惊为天人，然今才逐渐开始了解生成对抗网络的思想。到了后来一直想用生成对抗网络的思想做语音识别和语音合成这一方面，一直找到合适的资料。再后来，鬼使神差的想结合GANs来做毕业论文...
数据结构常见算法机试题
好多鱼
03-17 1016
数据结构算法一. 二叉树1. 根据一个字符串建立二叉树2. 根据两个字符串建立二叉树二. 二叉排序树1. 二叉排序树的构造与查找三. 优先队列1. 优先队列的基本使用 一. 二叉树 1. 根据一个字符串建立二叉树 提交网址 读入输入的字符串，建立一颗以指针方式存储的二叉树，以#表示空树。 abc##de#g##f### #include<iostream> #include<st...
【论文阅读】异构联邦学习综述：最新进展与研究挑战
weixin_51413726的博客
09-07 7905
这是关于一篇异构联邦学习的综述，希望能从这篇文章对联邦学习有一个大致的了解。作者从一开始就呈现了文章总体的思维导图，非常具有指引效果。通俗的来说就是：允许多个设备或数据源在不共享原始数据的情况下，共同训练模型以提高预测性能。主要目的：保护隐私。联邦学习：机器学习的分布式计算方法，旨在让多个参与方共同训练模型，而无需将其原始数据集集中存储在一个地方。这种方法允许在保护数据隐私的前提下，进行模型的训练和更新。
少样本学习原理快速入门，并翻译《Free Lunch for Few-Shot Learning: Distribution Calibration》
不精，不诚，不足以动人
01-19 5715
ICLR2021 Oral《Free Lunch for Few-Shot Learning: Distribution Calibration》 原论文：https://openreview.net/forum?id=JWOiYxMG92s 源码：https://github.com/ShuoYang-1998/ICLR2021-Oral_Distribution_Calibration 摘要 从有限数量的样本中学习是具有挑战性的，因为只有少数训练样本形成的偏倚分布，模型很容易过拟合。在本文中，我
迁移学习之图像分类域适应
一路狂奔的猪的博客
01-05 3916
这半年来主要研究迁移学习，因此想通过几篇博客进行一下总结，从迁移学习，到深度迁移学习，对抗迁移学习，到图像分类域适应，再到语义分割域适应。 下面是迁移学习较新的综述 ： 2018 一篇最近的非对称情况下的异构迁移学习综述：Asymmetric Heterogeneous Transfer Learning: A Survey 2018 Neural style transfer的一个surv...
【论文理解】Spatial Contrastive Learning for Few-Shot Classification
lijianyi0219的博客
01-01 3524
内容概览前言一、空间对比学习（Spatial Contrastive Learning）1.对比学习2.全局对比损失3.空间对比损失二、特征的修正三、对比蒸馏（Contrastive Distillation）四、少样本分类五、实验结果总结 前言 这篇论文提出了一个采用非episodic training方法的少样本图像分类算法，作者来自巴黎萨克雷大学，于2020.12.26挂在arxiv上：论文链接 这篇论文的实验结果比较好，并且在预训练时采用了注意力的思想，获得了一个良好的特征提取器。因此我把它的算法
Transfer Learning[论文合集]
gdtop的个人笔记
04-06 2937
https://handong1587.github.io/deep_learning/2015/10/09/transfer-learning.html Jump to... Papers One Shot Learning Few-Shot Learning Papers Discriminative Transfer Learning with Tree-based Priors ...
目标检测标签分配之 OTA 和 SimOTA 细节学习
博观约取，厚积薄发
10-12 5062
一张图片上有3个目标框，即3个ground truth项目有2个检测类别，比如 cat/dog网络输出1000个预测框，其中只有少部分是正样本，绝大多数是负样本是候选检测框的信息，维度是[1000，4]。预测框的四个坐标。obj_preds是目标分数(object score)，维度是[1000，1]。预测框是前景还是背景。cls_preds是类别分数，维度是[1000，2]。预测框的2个检测类别的one-hot。训练网络需要知道这 1000个预测框的标签，而如何分配标签呢？
最优传输系列（二）：熵正则、拉格朗日问题与Sinkhorn算法
lyy的博客
05-05 3120
目录熵正则对偶问题Sinkhorn引用 熵正则 考虑加入熵正则化的Kantorovitch问题。 目标是得到使得成本最低的r(i,j)r(i,j)r(i,j)： 其中，h(r)h(r)h(r)定义如下： 这是论文中的写法，还有一种写法是： h(r)=−∑i,jr(i,j)(log(r(i,j))−1)h(r)=-\displaystyle\sum_{i,j} r(i,j)(log(r(i,j))-1)h(r)=−i,j∑​r(i,j)(log(r(i,j))−1) 可以看出二者之间差了一个-1，但是
tukey检测_回到数据分析的未来：Tukey真空度的整洁实现
weixin_26746401的博客
08-21 2072
tukey检测One of John Tukey’s landmark papers, “The Future of Data Analysis”, contains a set of analytical techniques that have gone largely unnoticed, as if they’re hiding in plain sight. John Tukey的标志性...
few-shot charge
01-24
### Few-Shot Learning Introduction Few-shot learning refers to a class of machine learning problems where the model is required to learn from very few examples, typically one or just a handful per category. This approach mimics human ability to generalize from limited data and has become an important area within deep learning research. The task layer's prior knowledge includes all methods that "learn how to learn," such as optimizing parameters for unseen tasks through meta-learning techniques which can provide good initialization for novel tasks[^1]. In this context: - **Meta-Learning**: Aims at designing models capable of fast adaptation with minimal training samples by leveraging previously acquired experience. - **Metric Learning**: Focuses on learning distance metrics between instances so similar ones are closer together while dissimilar remain apart in embedding space. #### Applications in Machine Learning One prominent application involves fine-grained classification using small datasets like Mini-ImageNet, demonstrating performance improvements when comparing different algorithms' embeddings propagation capabilities over time steps (Figure 7)[^2]. Another example comes from multi-label classification scenarios where combining MLP classifiers alongside KNN-based predictions enhances overall accuracy compared to traditional approaches relying solely upon prototype definitions derived directly from support sets during inference phases[^3]. Moreover, hybrid embedding strategies have been explored; these integrate both generalizable features learned across diverse domains along with specialized adjustments made specifically towards target-specific characteristics present only within given training distributions[Dtrain], thereby improving adaptability without sacrificing efficiency too much relative purely invariant alternatives[^4]. ```python def few_shot_classifier(embedding_model, classifier_type='mlp_knn'): """ Demonstrates a simple implementation outline for integrating Multi-layer Perceptron (MLP) and k-nearest neighbors (KNN). Args: embedding_model: Pre-trained neural network used to generate feature vectors. classifier_type: Type of final decision mechanism ('mlp', 'knn', or 'mlp_knn'). Returns: Combined prediction scores based on selected strategy. """ pass # Placeholder function body ``` --related questions-- 1. What specific challenges do few-shot learning systems face? 2. How does metric learning contribute to enhancing few-shot recognition abilities? 3. Can you explain more about the role of prototypes in few-shot classification schemes? 4. Are there any notable differences between MAML and other optimization-based meta-learning frameworks? 5. Which types of real-world problems benefit most significantly from applying few-shot learning methodologies?
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值