读论文：Charting the Right Manifold:Manifold Mixup for Few-shot Learning

已于 2023-03-16 14:15:39 修改
阅读量1.5k 收藏 7
点赞数 2
文章标签： 深度学习 机器学习
于 2021-09-24 11:35:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dorisx/article/details/120444243
版权
本文研究了Manifold Mixup如何结合自监督学习（如Rotation和Exemplar）提升小样本学习性能。通过对中间层输出进行混合，该方法展示了对数据变化的鲁棒性和小样本任务的性能增强。在CIFAR-FS、CUB和mini-ImageNet数据集上的实验验证了其有效性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

读论文：Charting the Right Manifold:Manifold Mixup for Few-shot Learning

文章目录

一、补充知识

什么是自监督学习？
自监督学习主要是利用辅助任务(pretext task)从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。其本质是一个feature提取器。

自监督学习所利用的pretext task层出不穷，主要介绍一下本文所采用的Rotation和Exemplar。
论文链接：Rotation
文章提出，通过训练ConvNets来识别输入图像的2D旋转来学习图像特征。在质量和数量上证明了这个看似简单的任务，实际上为语义特征学习提供了非常强大的监督信号。
论文链接：Exemplar
文章的思路是将无标签的图像进行旋转、平移、增强等操作，组成不同的数据集合（同一图像生成的图像为同一数据集合），利用CNN将不同数据集合区分开。其目的是区分不同图像并保证旋转、平移等变换的鲁棒性。

什么是Manifold Mixup?
论文链接：M

最低0.47元/天 解锁文章
dorisx
关注
Manifold Mixup 摘要速览
Hope^_^
03-09 2379
https://arxiv.org/pdf/1806.05236.pdf https://github.com/vikasverma1077/manifold_mixup 深度学习善于拟合训练数据，在测试数据分布稍有差异时，预测效果就不好， 这种测试数据包括数据分布偏移, 异类, 对抗样本， 为解决这个问题，我们提出Manifold Mixup，即一种简单的正则化方法， Manifold Mixu...
探索深度学习的新边界：Manifold Mixup
最新发布
gitblog_00047的博客
04-18 677
探索深度学习的新边界：Manifold Mixup 去发现同类优质开源项目:https://gitcode.com/ 在这个快速发展的AI世界中，数据增强是一种增强模型泛化能力的有效方法，而正是这样的一个创新性项目，它在特征空间层面进行混合以提升神经网络的性能。该项目通过将不同的输入样本在低维流形上线性插值，为模型提供了更多的上下文信息，从而帮助模型更好地理解数据的内在结构。 技术分析 Manif...
理解《Charting the Right Manifold: Manifold Mixup for Few-shot Learning》
liuzhengjun3036的博客
09-12 2270
摘要：小样本学习算法目标是学习模型参数，使其能够适应于少量有标签的未见类样本分类。最近，正则化方法——流形混合算法（Manifold Mixup），集中于学习广泛的表示，以适应数据分布的小变化；另一方面，自监督学习是仅利用数据内在结构学习语义特征。针对小样本任务，本文利用自监督和正则化技术，研究学习相关特征流形。 注释：流形混合算法（Manifold Mixup）作用是使网络对输入数据进行变换/嵌入后，更加平滑和均匀，从而使得系统的泛化性能得到改善。 小样本学习的前提是训练样本集有大量样本，目标是解.
[论文学习]Manifold Mixup和PatchUp的代码重新实现（实现即插即用且速度更快）
Brikie的博客
02-28 6624
Manifold Mixup和PatchUp是对mixup数据增强算法的两种改进方法，作者都来自Yoshua Bengio团队。这两种方法都是mixup方法在中间隐层的推广，因此原文开源代码都需要对网络各层的内部代码进行修改，使用起来并不方便，不能做到即插即用。我用pytorch中的钩子方法(hook)对这两个方法进行重新实现，这样就可以实现即插即用，方便的应用到各种网络结构中，而且我实现的代码比原开源代码速度还能提高60%左右。
当小样本遇上机器学习 fewshot learning
VIEO
10-23 1569
元学习论文总结||小样本学习论文总结 2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019 原文 引言 深度学习(deeplearning)已经广泛应用于各个领域，解决各类问题，例如在图像分类问题下，如图1，区分这10类...
CVPR2020|WACV2020 |ICLR2021 小样本学习论文合辑
wangs1996
06-29 3393
CVPR2020|小样本论文合辑 Few-Shot Object Detection With Attention-RPN and Multi-Relation Detector FGN: Fully Guided Network for Few-Shot Instance Segmentation Revisiting Pose-Normalization for Fine-Grained Few-Shot Recognition Adaptive Subspaces for Few-Shot Lear
【论文学习】mixup系列（mixup、cutMix、manifold mixup、patchUp、saliencyMix、puzzleMix、co-Mixup、FMix）
热门推荐
Brikie的博客
02-24 2万+
本文详细分析了mixup方法及原理，并介绍了mixup后续的多种改进方法。
流型Charting
PING_ASI的博客
06-11 578
*流形Charting 算法 **基本思想 Brand提出的流形Charting方法是一泓基于局部领域差异保持的流形学习方法。基本思想是通过Charting来将样本高位数据分为若干个局部领域，针对每一个局部领域建立局部坐标系。然后通过一种仿射关系统一到一个坐标系中，实现高位数据到低纬的统一映射。 **算法步骤 1）Charting 首先将原始数据分割成多个局部线性的领域，然后将这些领域分
超级干货 | 用万字文章总结25种正则化方法（值得收藏）
qq_29462849的博客
02-20 4657
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨ChaucerG来源丨集智书童一些图像处理任务，如图像分类和目标检测，已经通过使用卷积神经网络(CNN)性能得到了显著的改进。...
自监督学习(Self-supervised Learning)的深刻理解
刘望的博客
07-09 8312
参考资料 [1] 本文主要参考资料来自https://zhuanlan.zhihu.com/p/125721565
Few-Shot 小样本学习 论文检索
VIEO
01-04 1013
References Discriminative k-shot learning using probabilistic models. arXiv preprintarXiv:1706.00326 (2017) A closer look at few-shot classification. In: ICLR (2019) 【已读】 Diversity with cooperation: Ensemble methods for few-shot classification. In: ICCV
流形学习（转）
aasys848082的博客
06-27 624
流形（manifold）的概念最早是在1854年由 Riemann 提出的(德文Mannigfaltigkeit)，现代使用的流形定义则是由 Hermann Weyl 在1913年给出的。江泽涵先生对这个名词的翻译出自文天祥《正气歌》“天地有正气，杂然赋流形”，日本人则将之译为“多样体”，二者孰雅孰鄙，高下立判。 流形（Manifold），一般可以认为是局部具有欧氏空间性质的空间。而实...
【今日CV 计算机视觉论文速览 第149期】Tue, 30 Jul 2019
TomRen
08-01 3489
第149期 计算机视觉论文速览 --->>基于语义掩膜的人脸属性自由操作 --->>虚拟法向量损失辅助的深度估计 --->>多任务提升图像超分辨 --->>用于逆任务的迭代神经网络 --->>基于语义引导的反射图像去除 --->>基于条件随机场和CNN的立体视觉估计模型
大杀器！攻克目标检测难点秘籍四，数据增强大法
AI算法修炼营的博客
02-17 3044
点击上方“AI算法修炼营”，选择加星标或“置顶”标题以下，全是干货前面的话在前面的秘籍一：模型加速之轻量化网络、秘籍二：非极大抑制算法和回归损失优化之路、秘籍三：多尺度检测中，我们主要关...
MIXUP理解
行云
06-14 6457
论文：Bag of Freebies for Training Object Detection Neural Networks 论文链接：https://arxiv.org/abs/1902.04103 网上有很多对该论文的介绍，请自行百度： 尽管mixup给人更合理一些的感觉，但它们都没有回答一个很重要的问题：两幅图像相加后，结果已经不是一幅合理的图像了，这跟我们通常说...
备用
xyz2107605729的博客
07-02 656
Bag of Freebies for Training Object Detection Neural Networks Learning Data Augmentation Strategies for Object Detection 比较有效的数据增强方法 Rotate rotates the whole image and the bounding boxes Equalize ...
论文阅读：Bag of Freebies for Training Object Detection Neural Networks
qq_29007291的博客
05-14 433
重点如下 多目标检测需要保持空间变换信息（相反，分类任务需要对空间变化不敏感），因此不能直接用原始的（用于分类任务）mixup。本文提出了 visual coherent mixup。 We first explore the mixup technique on object detection. Unlikewe recognize the special property of mul...
Embedding Propagation: Smoother Manifold for Few-Shot Classification ECCV 2020
VIEO
12-31 1235
论文题目 Embedding Propagation: Smoother Manifold for Few-Shot Classification ECCV 2020 1分钟思维导图（来源） Abstract 目前小样本学习（Few-shot Learning，FSL）是非常具有挑战性的，是由于训练集和测试集的分布可能存在不同，产生的分布偏移（distribution shift）会导致较差的泛化性。**流形平滑（Manifold smoothing）**通过扩展决策边界和减少类别表示的噪音（ex
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值