[论文笔记]Learning Compositional Representations for Few-Shot Recognition

最新推荐文章于 2024-11-27 13:42:45 发布
原创 最新推荐文章于 2024-11-27 13:42:45 发布 · 1.5k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#2019iccv #小样本 #正则化 #compositional representation

本文提出一种新的正则化方法，通过将深层表示分解为基于类级别属性的子空间，以提高模型在小样本情况下的泛化能力。这种方法不仅首次实现了深层组件表示的学习，还简化了在ImageNet数据集上收集属性注释的过程。

Learning Compositional Representations for Few-Shot Recognition

论文地址

开源模型

文章目录

一，概述

​ 受到人类存储知识方法(组成结构)的启发，作者提出了一种简单的正则化方法，允许将学习到的表示分解为多个部分，即借用类级别的属性注释将网络的特征空间分解为与属性对应的子空间，从而更好地泛化模型提取出的知识来达到更好的性能。

​ 主要贡献：

  1. 提出了第一种学习深层成分表示的方法。
  2. 说明了在ImageNet数据集上收集属性注释的简单性。
  3. 性能的提升。

二，方法阐述

2.1 问题定义

在这里插入图片描述

在这里插入图片描述

​ 首先，在Sbase上学习了一个参数为 θ ​ \theta​ θ​的表示模型，该模型用于接下来的在Snovel上分类任务。

​ 为了更好地表明类标签yi ∈ \in ∈Cbase的结构信息，作者引入了类层面的派生属性集D(xi)

最低0.47元/天 解锁文章
FsFont--通过学习细粒度局部样式生成少样本字体
m0_61985580的博客
04-01 1410
通过少量示例生成新字体的FFG (few -shot font generation)，因大幅降低人工成本而受到越来越多的关注。典型的FFG管道将标准字体库中的字符视为内容字形，并通过从参考字形提取样式信息将它们转移到新的目标字体。大多数现有的解决方案明确地全局或组件地分离参考符号的内容和样式。而字形的风格主要体现在局部细节上，即偏旁、组份、笔画的风格共同描绘了一个字形的风格。因此，即使是单个字符也可以包含分布在空间位置上的不同样式。实验结果表明，该方法在FFG中的性能优于现有方法。
CCF A类会议或期刊----近两年对比学习相关论文
Thincor的博客
03-20 6076
会议/期刊 论文 sigmod2021 Explaining Black-Box Algorithms Using Probabilistic Contrastive Counterfactuals. neurips2020 Adversarial Self-Supervised Contrastive Learning. neurips2020 Demystifying Contrastive Self-Supervised Learning: Invariances, Augme....
Few-Shot Image Recognition by Predicting Parameters from Activations
Glen_Liu
11-15 1941
Few-Shot Image Recognition by Predicting Parameters from Activations 本文基于神经网络中同一类别倒数层的激活值和最后的全连接softmax层的参数有密切的关系，通过训练一个参数预测器，使得在大量数据集中预训练过的网络可以通过直接从激活值预测参数的方式将模型映射到只有少量样本的测试数据集中。作者希望模型可以在少样本和大量样本的情况...
论文阅读笔记《Learning Compositional Representations for Few-Shot Recognition》
深视
08-20 1513
小样本学习&元学习经典论文整理||持续更新 核心思想   本文提出一种基于语义信息的小样本学习算法（comp），作者的想法就是利用目标物体的属性描述特征作为一种信息的补充，通过增加损失函数中的正则化项，来增强图像特整提取网络的表征能力，由此提高小样本学习的效果。比如对于一只鸟，它的属性描述特征就包含羽毛的形式，翅膀的颜色，胸口的颜色等等，有些时候甚至只需要知道关键属性的描述特征就能推断出这个鸟的种类了。 如图（a）所示，图片xix_ixi​经过CNN特征提取网络fθf_{\theta}fθ​，得到
＜＜视觉问答＞＞2021：Learning Compositional Representation for Few-shot Visual Question Answering
金克丝的博客
05-17 1175
摘要 现有的视觉问答方法在数据量大的情况下表现良好，但在数据缺乏的情况下，对新的问题、对象、答案类别等准确度有限。然而，人类却可以快速适应这些新的类别，因为人们会组织以前见过的概念来描述新的类别，而深度学习方法几乎无法探索这些概念。在本文中，我们建议从有足够数据的答案中提取属性，然后将这些属性组合起来，以约束少数几个few-shot的学习。我们生成了few-shot VQA数据集，其中包含各种答案及其属性，无需人工操作。利用这个数据集，我们构建了属性网络，通过从图像的部分而不是整个图像...
Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning
靓仔博客
01-28 3697
在这项工作中，我们建立在这种洞察力的基础上，并提出了一种新颖的训练机制，该机制同时对一组通用的几何变换实施等变性和不变性。等变性或不变性已在以前的工作中中单独使用；然而，据我们所知，它们并未被联合使用。对这两个对比目标的同时优化 允许模型共同学习 不仅独立于输入变换而且编码几何变换结构的特征的特征。这些互补的特征集有助于很好地推广到只有少数数据样本的新类。我们通过结合一个新的自我监督蒸馏目标实现了额外的改进。我们广泛的实验表明，即使没有知识蒸馏，我们提出的方法也可以在五个流行的基准数据集上优于当前最先进的
Rule-Guided Compositional Representation Learning on Knowledge Graphs-学习笔记
ChanYeol666的博客
10-13 1067
Rule-Guided Compositional Representation Learning on Knowledge Graphs 1.表示学习知识图谱（KG）是将KG的实体和关系嵌入到低维连续向量空间中。 2.可以使用Horn规则在语义级别上组合路径和关联关系，以提高学习路径上KG嵌入的精度，并增强表示学习的可解释性。 3.DPTransE共同构建了KG的潜在特征和图形特征之间的交互，以提供精确而有区别的嵌入。 4.路径增强模型：由于多跳路径可以提供KG中看似未连接的实体之间的关系，因此K
【论文阅读】Multi-level Semantic Feature Augmentation for One-shot Learning
cainiaomyf的博客
11-27 1389
人类能够从有限样本中快速识别和学习新的视觉概念，使其能够迅速适应新任务和环境。这种能力源于将新概念与已学习并存储在记忆中的概念进行语义关联。计算机可以通过使用语义概念空间来获得类似的能力。概念空间是一个高维语义空间，其中相似的抽象概念相距较近，而不相似的概念则相距较远。在本文中，我们提出了一种基于这一核心思想的新颖单样本学习方法。我们的方法学习将一个新样本实例映射到一个概念上，将该概念与概念空间中的现有概念关联起来，并利用这些关系，通过概念间的插值生成新实例，以帮助学习。
【论文精读笔记】O-LoRA: Orthogonal Subspace Learning for Language Model Continual Learning
weixin_45225032的博客
11-24 2969
O-LoRA阅读笔记，EMNLP2023复旦大学工作。介绍了一种O-LoRA方法，将多个LoRA块正交放置，通过限制LoRA块中A矩阵的正交性（矩阵运算为0）减少不同任务之间的干扰从而解决持续学习中的灾难性遗忘问题。
Few-shot-action-recognition:arXiv 论文“半监督少镜头原子动作识别”的代码
05-30
半监督小样本原子动作识别 这个 repo 包含我们论文“半监督少镜头原子动作识别”的代码。 请查看我们的和了解更多详情。 我们的学习策略分为两部分：1）用无监督学习训练编码器； 2）用监督学习训练动作分类模块。 关于编码器，我们的模型提供了具有高长度灵活性的细粒度空间和时间视频处理，它嵌入了视频特征并在时间上将这些特征与 TCN 相结合。 在分类模块方面，我们的模型提供了注意力池并比较了多头关系。 最后，CTC 和 MSE 损失使我们的模型能够进行时不变的小样本分类训练。 要求 pytorch> = 1.5.0 火炬视觉 >= 0.6.0 numpy >= 1.18.1 scipy >= 1.4.1 >= 0.1 用法 安装 克隆回购 安装 将<REPO>/models下载到<REPO>/models （可选） 下载（可选） 训练 如中所述，我们的模型训练分为两部分。
Knowledge Graph Transfer Network for Few-Shot Recognition 阅读笔记
gltangwq的博客
05-03 649
核心思想 小样本学习的挑战在于：识别新类别样本的过程容易受颜色、纹理、物体大小和背景的影响（特异性）。作者把与新样本相关的基类数据的语义标签信息迁移到新样本识别中，避免新样本的特异性影响，帮助小样本的学习，实现泛化到新样本。使用知识图建模了基类和新类别之间的相关性，提出了Knowledge Graph Transfer Network. 样本特征和分类器的关系 典型的分类模型由特征提取器ϕ\phiϕ和分类器fff组成。设输入为ximx_{im}xim​，预测的标签为y^=arg max⁡k fk(x)=ar
论文阅读笔记《TAFE-Net: Task-Aware Feature Embeddings for Low Shot Learning》
深视
05-28 2125
核心思想   本文提出一种利用“任务可知特征”（Task-Aware Feature Embeddings，TAFE）进行零样本学习或小样本学习的算法。什么是“任务可知特征”呢？在平常的特征提取网络中，网络权重参数和结构对于所有输入的图像是相同的，不变的，训练过程试图寻找一个能够平衡各种类型输入的最优解。而对于小样本学习任务而言，这很困难，因为样本数量太少了。于是作者结合动态神经网络的思想，针对不同的任务采用不同的权重参数，也就是说如果当前的任务是识别狗，那么特征提取网络就会有针对性的提取和狗相关的特征，听
论文阅读笔记《Task-Agnostic Meta-Learning for Few-shot Learning》
深视
05-29 3179
核心思想   本文提出了一种基于任务无偏思想的元学习算法用于解决小样本学习问题。基于参数优化的元学习算法是小样本学习领域中的一个重要的分支，如MAML，Meta-LSTM，这一类型的算法试图通过元学习的方式得到一个较好的初始化模型或者梯度下降的方向，使得模型能够只利用较少的新样本，就能实现很好的效果。而作者指出其中潜在的一个问题，就是模型在训练过程中容易产生对于训练任务的偏好，而导致泛化能力下降。这一点是很好理解的，无论我们怎样期待我们得到的初始模型通用性有多好，但毕竟是在一定范围内的样本上进行训练，得到的
论文解读：Task Agnostic Meta-Learning for Few-shot Learning（TAML）
夏栀的博客
04-26 1932
论文解读：Task Agnostic Meta-Learning for Few-shot Learning（TAML）   通常的，元学习可以被在多个任务（task）上训练以期望能够泛化到一个新的task。然而当在现有的task上过度地学习（过拟合），在新的task泛化能力会变差。换句话说，初始的meta-learner在现有的task上会学习到有偏的知识（bias），特别是样本数量非常少的情况下。为了避免在样本数量非常少时，meta-learner会学习到有偏的信息，本文提出一种Task-Agnosti
论文阅读：Compositional Learning for Human Object Interaction
Kivee的博客
10-23 3278
Compositional Learning for HOI（ECCV 2018） 文章   作者的的想法是因为我们很难搜集到所有组合之间的interaction，所以必须会面临的问题就是要识别在数据集中从未见到过的情况，也就是HOI的zero shot learning。作者认为人的动作是具有compositional的性质的，而且人可以用不同的物体和工具达到类似的目的。比如我们可以用hamme...
Incremental Few-Shot Learning for Pedestrian Attribute Recognition
皮皮飞的博客
03-15 796
动机： 大多数现有的方法都是为一组固定的属性设计的。他们无法处理增量式的少样本学习场景，即将一个训练有素的模型应用于新添加的具有稀缺数据的属性，而这些数据通常存在于现实世界中。 Contribution： 1.They raise a practical issue termed as incremental few-shot (multi-label) attribute learning wh...
软正则化：未来人工智能的驱动力
AI天才研究院
01-08 1096
1.背景介绍 人工智能(Artificial Intelligence, AI)是一门研究如何让机器具有智能行为的科学。在过去的几十年里，人工智能研究者们试图通过模仿人类思维和行为来设计和构建智能系统。然而，随着数据量的增加和计算能力的提高，机器学习(Machine Learning, ML)成为了人工智能领域的一个重要分支。机器学习是一种通过从数据中学习规律来自动改进的方法。 在机器学习领域...
软正则化与文本生成技术的结合：提升创意表达能力
AI天才研究院
01-07 483
1.背景介绍 随着人工智能技术的不断发展，文本生成技术在各个领域都取得了显著的进展。例如，在自然语言处理(NLP)领域，文本生成技术已经被广泛应用于机器翻译、文本摘要、文本摘要、文本摘要等任务。在社交媒体和广告推荐等领域，文本生成技术也被广泛应用于创建有趣、引人注目的内容。然而，传统的文本生成技术仍然存在一些局限性，例如生成的文本质量和创意表达能力有限。 为了解决这些问题，本文提出了一种新的文...
Training-free Subject-Enhanced Attention Guidance for Compositional Text-to-image Generation 总结文章提出的评估方法
最新发布
04-02
### 论文评估方法总结 论文《Training-free Subject-Enhanced Attention Guidance for Compositional Text-to-image Generation》提出了基于无训练主体增强注意力引导的方法来实现组合文本到图像生成的任务。以下是该文中涉及的主要评估方法： #### 1. 定量指标分析 为了衡量模型生成图像的质量以及其与输入文本的一致性，文章采用了多种定量评价标准，包括但不限于 Fréchet Inception Distance (FID)[^4] 和 Clip Score[^5]。这些指标能够有效反映生成图像的真实性和语义一致性。 - **Fréchet Inception Distance (FID)**: FID 值越低表示生成样本分布与真实数据分布之间的差异越小，从而表明更好的生成效果。 - **Clip Score**: 这一分数通过计算生成图片和对应描述之间相似度得分来进行评测，高分意味着更强的相关性。 #### 2. 主观视觉质量比较 除了上述客观数值外，研究者还进行了大规模的人类偏好测试实验，邀请参与者对比不同算法产生的结果并选出更优选项。这种方法可以弥补单纯依赖自动化测量可能存在的局限性，提供更加直观可靠的反馈信息[^6]。 #### 3. 对抗攻击鲁棒性的考察 考虑到实际应用场景中的复杂情况，本文特别设计了一些针对潜在干扰因素（如噪声注入）下的性能检验环节。具体而言，在保持其他条件不变的前提下向输入端引入不同程度随机扰动后再观察最终输出变化趋势如何受到影响[^7]。 ```python def calculate_fid(real_images, generated_images): """ Calculate the Frechet Inception Distance between real and generated images. Parameters: real_images (list): List of numpy arrays representing real image data points. generated_images (list): List of numpy arrays representing synthetic counterparts. Returns: float: The computed FID value indicating similarity level among two sets. """ pass def compute_clip_score(image_tensor, text_description): """ Compute CLIP score which reflects alignment degree between an individual piece of visual content alongside its associated linguistic annotation. Args: image_tensor (torch.Tensor): Tensor representation formating single frame instance. text_description (str): Natural language phrase describing target scene contextually. Return: double: Numerical assessment reflecting congruence status quantitatively. """ pass ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值