论文阅读：TransFG: A Transformer Architecture for Fine-grained Recognition

最新推荐文章于 2024-04-27 09:46:04 发布
原创 最新推荐文章于 2024-04-27 09:46:04 发布 · 1.9k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #transformer

该博客介绍了一种用于细粒度视觉分类（FGVC）的新型Transformer框架——TransFG。TransFG利用Transformer的自注意力机制，通过部分选择模块（PSM）和对比特征学习来增强对关键图像区域的识别。它通过选择高权重token并应用对比损失来改进特征学习，从而提升网络区分微妙类间差异的能力。实验部分展示了TransFG在数据集上的表现。

目录

用细粒度识别Transformer架构

一、动机

二、方法

2.1 大致流程

2.2 步骤分解

三、实验

3.1 数据集

用细粒度识别Transformer架构

一、动机

     由于固有的微妙的类间差异，从子类别中识别对象的细粒度视觉分类（FGVC）是一项非常具有挑战性的任务。通过关注如何定位最具辨别力的图像区域，并依靠它们来提高网络捕获细微差异的能力来解决这个问题。Transformer的自注意力机制将每个token标记链接到分类标记，可以直观的将注意力链接的强度视为token重要性的指标。提出一种新的基于Transformer的框架TransFG。

二、方法

2.1 大致流程

图像序列化——碎片嵌入——TransFG

2.2 步骤分解

1、图像序列化

为了保留局部相邻结构，采取滑动窗口生成重叠碎片。滑动窗口大size为P，step为S；因此两个相邻的碎片共享一个大小为（P-S）*P的重叠区域

 2、碎片嵌入

将可训练的碎片映射到潜在的D维嵌入空间，将可学习的位置嵌入添加到碎片嵌入中以保留位置信息。

 3、TransFG层

ViT回顾：

单个Transformer层可以表示成如下：

 TransFG主要有两部分不同：部分选择模块（PSM)和对比特征学习

 部分选择模块：

为了充分利用注意力信息，将改变最后一层的输入，对最后一层前面的所有层的权重累乘，选出

 然后选择权重最大的A_k个token作为最后一层的输入。

对比特征学习：

因为简单的交叉熵损失函数不足以完全监督特征学习，因为子类别之间的差异可能非常小。
采用对比损失最小化不同标签对应的分类token的相似度，最大化具有相同标签y的样的分类token的相似度

z：token   y：标签   sim()：相似性函数

 

总之，最后的模型是用交叉熵损失和对比损失的综合训练的：（trick：可以用两个损失函数结果的运算来构成一个“新的”损失函数）

三、实验

3.1 数据集

源代码

【第40篇】TransFG：用于细粒度识别的 Transformer 架构
m0_47867638的博客
06-24 535
论文地址：https://arxiv.org/abs/2103.07976旨在从子类别中识别对象的细粒度视觉分类（FGVC）是一项非常具有挑战性的任务，因为其固有的细微类间差异。大多数现有工作主要通过重用主干网络来提取检测到的判别区域的特征来解决这个问题。然而，这种策略不可避免地使管道复杂化，并推动建议的区域包含大部分对象，因此无法定位真正重要的部分。最近，视觉变换器（ViT）在传统分类任务中显示出其强大的性能。转换器的自注意力机制将每个补丁标记链接到分类标记。
【论文笔记】TransFG: A Transformer Architecture for Fine-Grained Recognition
no_pain_no_gain_的博客
05-13 2031
TransFG简介 简介 2021年3月 由 字节跳动 在 CVPR 发表的一篇细粒度分类文章。 在CUB-200-2011上最高识别精度为 91.7% 作者团队称是将 Transformer 在细粒度分类上的首次运用。（可能是真的，不然名字早该被抢掉了😑） 作者团队在 ...
CVPR 2021 TransFG: A Transformer Architecture for Fine-grained Recognition
smile909的博客
03-27 2368
动机 由于类间存在着细微的差异，细粒度视觉分类（FGVC）是一项非常具有挑战性的任务，它的目标是从子类中识别出目标。 近年来的研究主要集中在如何定位最有判别力的图像区域，并依靠这些区域来提高网络捕捉细微差异的能力。这些工作都需要一个专门设计的模块来提取候选区域，并且这些选定的区域需要再次通过主干网络进行传播以进行最终的分类。此外，一些被提取得候选区域往往包含了整个目标，判别力不够。而且，这种策略不可避免地使算法流程复杂化。 近年来，视觉transformer(ViT)在传统的分类任务中显示出了强大的性能。
论文解读TransFG: A Transformer Architecture for Fine-grained Recognition
pontoon‘s zone
04-09 3445
论文解读TransFG: A Transformer Architecture for Fine-grained Recognition 问题：Transformer还未应用在图像细分类领域中 贡献点：1.vision transformer的输入把图像切分成patch，但是是没有overlap的，文章改成切分patch用overlap（这只能算个trick） 2.Part Selection Module 通俗讲就是最后一层的输入与vision transformer不同，即把最后一层前.
论文阅读笔记-TransFG: A Transformer Architecture for Fine-Grained Recognition
XZH16047129的博客
03-24 2321
目录 摘要 1.引言 2.相关工作 3.方法 3.1 Vit作为特征提取器 3.1.1 图像序列化 3.1.2 patch嵌入 3.2 TransFG 结构 3.2.1 区域选择模块 摘要 细粒度视觉分类(FGVC)旨在从子类别中识别对象，这是一项非常具有挑战性的任务，因为其固有的微妙的类间差异。现有的工作主要通过重用主干网络提取检测到的识别区域的特征来解决这一问题。然而，这种策略不可避免地会使管道复杂化，并推动建议的区域包含对象的大部分部分，因此无法定位真正重要的部分。 .
TransFG A Transformer Architecture for Fine-Grained Recognition 【阅读笔记】
bettle_king的博客
11-16 272
笔记
[AAAI 2022] TransFG: A Transformer Architecture for Fine-grained Recognition
连理o的博客
02-10 513
[AAAI 2022] TransFG: A Transformer Architecture for Fine-grained Recognition
论文阅读：TransFG
zzc_zhuyu的博客
08-06 1986
TransFG: A Transformer Architecture for Fine-grained Recognition 文章目录TransFG: A Transformer Architecture for Fine-grained Recognition0 摘要1 引言2 相关研究3 方法3.1 transformer当作特征提取器图片序列化patch embedding3.2 TransFG 架构部件选择模块PSM对比特征学习4 实验4.3 消融研究4.4 可视化5 总结 0 摘要 本文提出了
论文笔记--TransFG
qq_45542288的博客
01-13 721
上图为TransFG的网络结构图。在ViT的基础上，作者做出了以下改动：（1）为了避免在划分patches时，对重要的有辨识度的区域进行了切分，采用滑动窗口的方式，进行重叠划分。该模块对输入的tokens，只保留激活程度较高的tokens，视作更具辨识度的部分，和class token拼接后，输入到最后的Transformer Layer层。在实验中，在ViT-B_16的主干网络下，这些改进在CUB-200-2011数据集上提高了1.4%的准确率，达到了91.7%，证明了这些方法在细粒度数据集上的有效性。
Fine-grained Detection —— TransFG
qq_39430450的博客
02-23 2599
Fine-grained Detection —— TransFG（2022.02.23）1. Part Selection Module2. Contrastive Feature Learning3. My Thinking3.1. PSM部分3.2. CFL部分4. My Summary 文章：TransFG: A Transformer Architecture for Fine-grained Recognition 原文. 简称TransFG，包含2个部分： 选择模块PSM（Part Sel
论文笔记33 -- （细粒度识别）【CVPR2021】TransFG: A Transformer Architecture for Fine-grained Recognition
对角巷
09-07 2395
Transformer在细粒度领域的应用 论文：点这里 代码：点这里 Ju He，Jie-Neng Chen，Shuai Liu，Adam Kortylewski，Cheng Yang，Yutong Bai，Changhu Wang，Alan Yuille Johns Hopkins University，ByteDance Inc. Abstract 细粒度视觉分类（FGVC）的目的是从子类别中识别目标，因为类间存在着固有的细微差异，因此是一项非常具有挑战性的任务。最近的工作主要是通过定位最具辨别力的
TransFG:这是PyTorch正式实施的“ TransFG”文件
04-01
TransFG：用于细粒度识别的变压器体系结构 论文的官方PyTorch代码： 不久将发布基于ImageNet-1K上训练的DeiT的实现，并进行精调。 框架 依存关系： 的Python 3.7.3 PyTorch 1.5.1 火炬视觉0.6.1 ml_collections 用法 1.下载Google预先训练的ViT模型 ：ViT-B_16，ViT-B_32 ... wget https://storage.googleapis.com/vit_models/imagenet21k/{MODEL_NAME}.npz 2.准备数据 在本文中，我们使用来自5个公开数据集的数据： 请从官方网站下载它们，并将它们放在相应的文件夹中。 3.安装所需的软件包 使用以下命令安装依赖项： pip3 install -r requirements.txt 4.火车 要在FP-16模式下以
棉花病虫害数据集cotton disease
08-03
包含1522张棉花病虫害图片，已标注为txt格式，拿到手即可直接开始训练。可用于目标检测，机器学习，深度学习，人工智能，python。
【亲测免费】 探索前沿技术：TransFG - 跨模态预训练模型的新里程碑
gitblog_00069的博客
04-27 690
探索前沿技术：TransFG - 跨模态预训练模型的新里程碑 项目简介 是一个创新的跨模态预训练模型，由TACJu团队开发并开源。这个项目旨在解决不同模态数据（如文本、图像和语音）之间的深度融合与理解问题，为多模态应用提供强大的基础工具。 技术分析 TransFG的核心在于其独特的跨模态融合架构，它采用了Transformer为基础的框架，通过自注意力机制处理不同模态的数据流，实现信息的有效交互和...
带你读AI论文丨用于细粒度分类的Transformer结构—TransFG
华为云官方博客
09-11 2039
摘要：本文解读了《TransFG: A Transformer Architecture for Fine-grained Recognition》，该论文针对细粒度分类任务，提出了对应的TransFG。 本文分享自华为云社区《论文解读系列二十：用于细粒度分类的Transformer结构—TransFG》，作者： BigDragon 。 论文地址：https://arxiv.org/abs/2103.07976 GitHub地址：https://github.com/TACJu/TransFG
【transformer】【pytorch】TransFG代码【Scheduler.py】
YJYS_ZHX的博客
04-13 540
LambdaLR类：torch.optim.lr_scheduler 作用是，可以自定义学习率学习曲线，官方代码如下： lass LambdaLR(_LRScheduler): """Sets the learning rate of each parameter group to the initial lr times a given function. When last_epoch=-1, sets initial lr as lr. Args: optim
vit细粒度图像分类（十）TransFG学习笔记
PLANTTHESON的博客
02-03 2106
在这项工作中，我们首先评估了ViT框架在细粒度识别设置中的有效性。然后，由于注意链接的强度可以直观地视为令牌重要性的指标，我们进一步提出了一种新的部件选择模块，该模块可以应用于大多数变压器架构，我们将变压器的所有原始注意权重集成到注意图中，以指导网络有效准确地选择判别图像补丁并计算它们之间的关系。使用对比损失来扩大混淆类的特征表示之间的距离。
细粒度图像分类论文研读-2022
weixin_46365033的博客
12-08 4205
目前的工作主要通过关注如何定位最具识别度的区域并依靠它们来提高网络捕捉细微变化的能力来完成FGVC。这些工作中的大部分是通过RPN模块来提出绑定框并重新使用主干网络来提取所选框的特征。近年来，ViT在传统分类任务重大放异彩，其自我关注机制将每个patch的token连接到分类token。注意力连接的强度可以被直观地视为表征重要性的指标。本文中，提出了一个新的、基于transformer的结构TransFG。本文将所有原始注意力权重聚合为一个注意力图来指导网络有效且准确地选择有区分度的图像块并且计算他们之间的
ViT-FOD: A Vision Transformer-based Fine-grained Object Discriminator
最新发布
07-23
### ViT-FOD: A Vision Transformer-based Fine-grained Object Discriminator ViT-FOD是一种基于视觉Transformer（Vision Transformer, ViT）的细粒度物体辨别模型。该模型旨在解决细粒度分类任务中的挑战，即在具有高度外观相似性的类别之间进行区分。细粒度分类任务通常涉及识别同一超类下的子类，例如不同种类的鸟类、车型或飞机型号等[^3]。 #### 核心思想与设计 ViT-FOD的核心思想是利用视觉Transformer的全局注意力机制来捕捉图像中细微的差异。与传统的卷积神经网络（CNN）相比，Transformer能够通过自注意力（Self-Attention）机制建立图像块（patches）之间的长距离依赖关系，从而避免了CNN中由于卷积核大小限制而受限的感受野问题。这种特性使得ViT-FOD在处理细粒度分类任务时能够更好地捕捉图像中的关键区域和细节特征[^4]。 ViT-FOD的设计通常包括以下几个关键部分： 1. **图像分割与嵌入**：输入图像首先通过一个stem层被分割成多个小块（patches），每个小块被视为一个“视觉标记”（visual token）。这些标记随后被线性嵌入到一个高维空间中，形成初始的特征表示[^2]。 2. **Transformer编码器**：嵌入后的视觉标记通过一个或多个Transformer编码器层进行处理。每个编码器层包含多头自注意力（Multi-Head Self-Attention, MHSA）模块和前馈神经网络（Feed-Forward Network, FFN）。MHSA模块能够捕捉图像块之间的全局依赖关系，而FFN则用于进一步提取局部特征[^3]。 3. **特征增强与分类**：在Transformer编码器之后，ViT-FOD通常会引入一些额外的机制来增强特征表示。例如，可以通过注意力机制聚焦于图像中的关键区域，或者通过多尺度特征融合来提升模型的判别能力。最终，增强后的特征被输入到一个分类头中，用于生成最终的分类结果[^5]。 #### 优势与创新 ViT-FOD的优势主要体现在以下几个方面： - **全局注意力机制**：通过自注意力机制，ViT-FOD能够捕捉图像中更广泛的上下文信息，这对于细粒度分类任务尤为重要，因为它能够帮助模型识别出微小但关键的差异。 - **灵活性与可扩展性**：ViT-FOD的设计允许灵活地调整模型的深度和宽度，从而在计算资源和性能之间取得平衡。此外，该模型可以轻松扩展到更高分辨率的输入图像，进一步提升其在复杂任务中的表现[^1]。 - **高效的压缩方法**：ViT-FOD可以结合静态或动态的ViT压缩方法，例如CF-ViT，以降低计算复杂度并提高推理速度。静态压缩方法通过手动设计模块来减少计算图的复杂性，而动态压缩方法则根据输入图像调整计算图，从而实现更高效的推理[^5]。 #### 应用场景 ViT-FOD适用于需要高精度细粒度分类的任务，例如： - **生物识别**：如鸟类、昆虫或植物种类的识别。 - **工业检测**：如汽车型号、电子产品型号的识别。 - **医学图像分析**：如医学图像中不同病变类型的区分。 ### 示例代码 以下是一个简化的ViT-FOD模型实现示例，展示了如何使用PyTorch构建一个基于视觉Transformer的细粒度分类模型： ```python import torch import torch.nn as nn from torchvision import models class ViTFOD(nn.Module): def __init__(self, num_classes, img_size=224, patch_size=16, embed_dim=768, depth=12, num_heads=12): super(ViTFOD, self).__init__() self.patch_size = patch_size self.num_patches = (img_size // patch_size) ** 2 self.cls_token = nn.Parameter(torch.zeros(1, 1, embed_dim)) self.pos_embedding = nn.Parameter(torch.randn(1, self.num_patches + 1, embed_dim)) self.patch_embed = nn.Conv2d(3, embed_dim, kernel_size=patch_size, stride=patch_size) self.transformer = nn.TransformerEncoder( nn.TransformerEncoderLayer(d_model=embed_dim, nhead=num_heads), num_layers=depth ) self.classifier = nn.Linear(embed_dim, num_classes) def forward(self, x): B = x.shape[0] x = self.patch_embed(x) # (B, embed_dim, H/patch_size, W/patch_size) x = x.flatten(2).transpose(1, 2) # (B, num_patches, embed_dim) cls_tokens = self.cls_token.expand(B, -1, -1) # (B, 1, embed_dim) x = torch.cat((cls_tokens, x), dim=1) # (B, num_patches + 1, embed_dim) x = x + self.pos_embedding x = self.transformer(x) x = x[:, 0] # Take the CLS token x = self.classifier(x) return x # Example usage model = ViTFOD(num_classes=200) # Assuming 200 fine-grained classes input_tensor = torch.randn(16, 3, 224, 224) # Batch of 16 images output = model(input_tensor) print(output.shape) # Should be (16, 200) ``` ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值