论文阅读CondInst《Conditional Convolutions for Instance Segmentation》

CondInst实例分割
最新推荐文章于 2024-06-16 09:40:44 发布
原创 最新推荐文章于 2024-06-16 09:40:44 发布 · 3.8k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

论文链接：http://xxx.itp.ac.cn/pdf/2003.05664v3

CondInst是ECCV20上的一篇关于实例分割的文章，个人感觉和YOLACT的思路有相似之处（CondInst最后的处理更加直接简洁）。作者将全卷积网络应用在实例分割的task上，通过采用动态生成的conditional convolution，解决了之前全卷积网络在实例分割上不work的问题。

涉及的问题

作者首先分析了经典的Mask RCNN的问题：（1）由于采用bbox先做框定，所以对于一些不规则的instance，bbox中会掺杂大量的背景信息或者其他实例的杂讯；（2）由于要区分前景和背景信息，因此mask head需要足够大的感受野来编码上下文信息，所以就导致了较多卷积层的堆叠，造成了计算的复杂；（3）ROI操作需要将不同尺寸的区域统一到相同区域，因此对于面积较大的instance，会损失很多精度。

随后作者又分析了FCN的问题：FCN在语义分割等领域已经非常出色，虽然语义分割和实例分割很相似，但FCN在实例分割上依旧不太work（远比不上ROI系列的算法）。究其原因，是因为FCN很难区分一张图像中有相同特征的实例，而实例分割要求我们将所有的实例区分开来；而ROI算法就可以将不同的instance裁剪出来，再逐一进行mask的预测。所以实例分割需要两类信息：（1）appearance：每一个目标的外观特征，即属于什么类别；（2）location：如果一张img有多个同类物体，要通过位置信息区分出他们的不同。

CondInst

所以作者提出了CondInst，可以看作是一个instance-aware的FCN。受动态卷积的启发，CondInst的网络参数是根据instance的不同而变化的，而这个网络参数的作用是编码一些instance的特征（例如位置、形状或者外观信息）。因此根据不同实例对应的conditional mask，把他们分配到整个特征图上，就可以避免ROI操作，从而直接得到每一个instance的mask。
在这里插入图片描述
如上图所示，一张img上有K个实例，就需要动态地生成K个mask head，每一个head在他们的filter中都含有目标实例的一些特征，因此不同的mask作用到特征图时，只会根据各自编码特征，去响应拥有特征的实例所对应的pixel。进而得到不同instance的mask。

Architecture

下图为CondInst的模型图：

在这里插入图片描述

backbone采用ResNet50，采用FPN结构。下面的mask branch是P3经过卷积得到的特征图，FmaskF_{mask}Fmask​，其维度C=8，然后又经过一个类似于coordconv的操作，加上了两个维度的position信息，得到了F~mask\widetilde{F}_{mask}F mask​，维度为8+2=10。上面的部分针对不同尺度的特征图（P3-P7），得到分类向量px,yp_{x,y}px,y​，以及controller里面的参数θx,y\theta_{x,y}θ

最低0.47元/天 解锁文章
改进YOLO系列：谷歌团队的CondConv-用于高效推理的条件参数化卷积
GzvDart的博客
09-17 274
这些条件信息通过一系列的操作和网络层传递，最终生成用于调整卷积核权重的条件参数。通过动态调整卷积核的权重，CondConv能够根据输入数据的条件信息提高模型的表达能力和推理效率。通过CondConv模块，目标检测模型可以根据输入数据的条件信息动态调整卷积核的权重，从而提高模型的表达能力和推理效率。在传统的卷积操作中，卷积核的权重是固定的，不考虑输入数据的特点。而CondConv通过引入一个学习的参数来控制卷积核的权重，以便根据输入数据的特征动态调整卷积操作，从而提高模型的表达能力和推理效率。
Conditional Convolutions for Instance Segmentation知识点总结
微信号：Custom-Software
07-27 2981
Conditional Convolutions for Instance Segmentation 第1次记录 介绍一篇ECCV 2020被评为Oral的论文，它也是目前单阶段实例分割方面的又一佳作，它就是由沈春华大佬团队出品的--CondInst，通过引入条件卷积到实例分割中去，实现了精度上比Mask R-CNN高一丢丢(约0.5个点)，加上seg loss后可以涨一个点，从而超过Mask R-CNN；速度和Mask R-CNN差不多，稍好一点； 本文提出了一个简单而有效的实例分割框架，称为Con
《CondInst：Conditional Convolutions for Instance Segmentation》论文笔记
m_buddy的博客
01-02 2385
参考代码： 非官方： CondInst，这篇文章使用的代码来源于此 官方：AdelaiDet 1. 概述 介绍：这篇文章描述的是单阶段的实例分割算法，类似与SOLO模型将不同的实例编码到channel和动态卷积参数中一样，这篇文章借鉴的是动态卷积参数去独立表征每个实例mask。回顾之前的两阶段实例分割算法（以Mask RCNN）为代表其存在如下的一些问题：1） 该方法通常会根据RoI box使用RoI Align的策略将特征图实现对齐与抠取，但是在一些情况下会引入较多背景区域的干扰，特别是对于存在旋转
ConInst: Conditional Convolutions for Instance Segmentation 论文笔记
Tianchao龙虾
04-28 1062
Conditional Convolutions for Instance Segmentation 论文链接： https://arxiv.org/abs/2003.05664 一、 Problem Statement 目前主流的实例分割算法是Mask-RCNN，依赖于ROI(ROI Pool或者ROI Align)获取最后的masks。然而，ROI-based的方法有以下缺点: ROIs 通常都是 axis-aligned的包围框，对于不规则形状的目标，它们可能包含大量不相关的图像内容，如背景或者其他
[Condinst]Conditional Convolutions for Instance Segmentation(ECCV. 2020 oral)
Ah丶Weii
12-04 1803
文章目录网络结构mask headLOSS1. AdelaiDet/adet/modeling/condinst/condinst.py2. AdelaiDet/adet/modeling/condinst/mask_branch.py3. AdelaiDet/adet/modeling/condinst/dynamic_mask_head.py4. AdelaiDet/adet/modeling/fcos/fcos_outputs.py中Condinst的top_feat结构 网络结构 mask hea
【论文阅读】Conditional Convolutions for InstanceSegmentation
python_LC_nohtyp的博客
10-30 1090
文章目录0x01 概要0x02 Mask-RCNN的缺点0x03 为什么FCNs在实例分割上的效果不好0x04 主要贡献0x05 CondInst的实例分割1x01 网络总体结构1x02 网络输出和训练标签 0x01 概要 Mask R-CNN等性能最好的实例分割方法依赖于ROI操作（通常是ROIPool或roalign）来获得最终的实例掩码。相比之下，我们建议从一个新的角度来解决站姿分割问题。我们不使用实例级roi作为固定权重网络的输入，而是使用基于实例的动态感知网络。CondInst有两个优点：1）通过
Conditional Convolutions for Instance Segmentation
qq_40874603的博客
08-28 1217
用于实例分割的条件卷积 摘要 提出了有效的实例分割架构，叫做CondInst。目前表现优秀的实例分割方法如Mask-RCNN依赖于ROI操作来获得最终的实例mask。相反，我们从一个新的视角解决实例分割。取代使用实例化的RoIs作为固定权重网络的输入，我们使用一个动态的实例感知网络，基于实例。CondInst有两个优势：1）使用全卷积网络解决实例分割问题，无需RoI裁剪和特征对齐。2）由于动态生成的条件卷积大幅提升了容量，mask head可以变得十分紧凑（如3三个卷积层，每个只有8个通道），导致显著更快的
Conditional Convolutions for Instance Segmentation译文
微信号：Custom-Software
07-28 1813
Conditional Convolutions for Instance Segmentation 本人自己翻译的，翻译的不好请见谅，主要是我在复现这个论文，同时分享出来给大家。 我们提出了一个简单而有效的实例分割框架，称为CondInst（条件卷积引入在实例分割）。效果最好的实例分割方法（例如Mask R-CNN）依靠ROI操作（比如ROIPool或ROIAlign）来获取最终的实例掩码。相反，我们计划从新的角度解决实例分割问题。我们不使用实例方式的ROI作为固定权重网络的输...
粗读Crossover Learning for Fast Online Video Instance Segmentation
qq_42578970的博客
10-13 633
以往的视频语义分割，总是截取视频中的一帧或几帧，把视频转化成孤立的图处理。本文提出一种方法，可以不增加额外代价地结合视频上下文的信息，辅助网络分割，提高分割表现。 如图所示，红色线条均为第t帧提取出的特征，蓝色为向后偏移δ帧后提出的特征。实线为用于本帧分割的特征，虚线为辅助另一帧进行分割的特征。其中是mask的特征图F和相对位置O拼接而成的，θ是动态过滤器的输出。 对于静态图像分割，即只根据某一帧进行的分割，即图中的Still-image Predic...
[实例分割] Conditional Convolutions for Instance Segmentation
不忘初心~
07-11 2774
转载请注明作者和出处： http://blog.youkuaiyun.com/john_bh/ 论文链接： Conditional Convolutions for Instance Segmentation 作者及团队：沈春华 & 澳大利亚阿德莱德大学 会议及时间：ECCV 2020 oral code1：https://github.com/Epiphqny/CondInst code1：https://github.com/aim-uofa/AdelaiDet 文章目录1.主要贡献 1.主要贡献
论文笔记-Conditional Convolutions for Instance Segmentation
kingsleyluoxin的博客
08-16 806
论文信息 标题： Conditional Convolutions for Instance Segmentation 作者：Zhi Tian, Chunhua Shen, Hao Chen 机构：The University of Adelaide, Australia 出处：ECCV 2020 代码链接 https://git.io/AdelaiDet 论文主要贡献 从新的视角解决实例分割问题，提出 CondInst 实例分割网络，改进了当前的实例分割方法的性能，同时达到更快的推理..
CondInst:用于实例分割的条件卷积可可比达到37.1mAP
05-26
CondInst 该存储库是的的非官方pytorch实现。 使用ResNet-101骨干网的模型在COCO val2017集上实现了37.1 mAP。 安装 该代码基于 。 请检查以获取安装说明。 训练 遵循与detectron2相同的方式。 单GPU： python train_net.py --config-file configs/CondInst/MS_R_101_3x.yaml 多GPU（例如8）： python train_net.py --num-gpus 8 --config-file configs/CondInst/MS_R_101_3x.yaml 请根据GPU内存调整配置文件中的IMS_PER_BATCH。 笔记 我已根据用对齐的上采样替换了原始的上采样，并使用上采样的蒙版来计算损失，这带来了更多的收益，但可能会花费更多的GPU内存，如果您没有太多的内存，
条件卷积，我更愿称之为动态卷积CondConv: Conditionally Parameterized Convolutions for Efficient Inference
02-27 4853
CondConv: Conditionally Parameterized Convolutions for Efficient Inference paper：https://arxiv.org/abs/1904.04971 code：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/condconv https://zhuanlan.zhihu.com/p/141868898 该文是谷歌大神.
笔记Semi-convolutional Operators for Instance Segmentation
chixia1785的博客
09-10 2161
    本文发表于ECCV 2018。instance segmentation方法主要有两类：一是propose & verify，即先使用一object detectior找出instance可能的bbox并分类，再对这些bbox进行前后景的分割。这类方法以Mask RCNN为代表，目前占主流地位，但这类方法对拥挤、遮挡、小目标和不规则物体的分割精度有待提升。第二类方法是将instan...
ECCV2020 CondInst
菜鸟中的菜中菜的博客
03-25 569
CondInst 作者思考实例分割和语义分割的区别，一个map只能拿一个实例，语义分割是出一个map拿所有实例，实例分割的核心，怎么让网络focus到某一个instance，然后只把这个instance的mask拿出来。 思路 分别拿一个mask head 去得到一个实例的mask。 mask head是在检测器后，检测到多少个instance就跟多少个head，是动态的 结构 使用FPN+FCOS，每个点生成一个框，框后面加个controller，生成一组滤波器，滤波器被用来填充mask head，m
推荐开源项目：CondInst - 条件卷积实例分割新突破
gitblog_00008的博客
06-16 495
推荐开源项目：CondInst - 条件卷积实例分割新突破 在计算机视觉领域，实例分割是一项关键任务，它要求对图像中的每个对象进行像素级别的分类，区分同一类别的不同个体。最近，CondInst 的出现为这一挑战带来了新的解决方案，这是一款基于 PyTorch 的条件卷积实现，旨在提升实例分割的性能。 项目介绍 CondInst 是一个针对实例分割问题的深度学习框架，它的核心思想是引入了条件卷积层来...
实例分割_【实例分割】CondInst
weixin_39901077的博客
12-03 1289
0. Abstract用动态卷积的思想来生成实例敏感的滤波器来编码实例信息，不依赖box及RoI crop和特征对齐。用FCOS检测实例类别，然后用参数动态生成的mask head在原型mask和相对坐标图结合图上卷积生成相应实例mask。1. MotivationMask R-CNN仍然是实例分割任务的top解决方法，它将实例分割分成两个阶段的任务－－先检测后分割。首先用目标检测器如Faster...
CondInst：条件卷积实例分割
dawnyi_yang的博客
05-23 2994
摘要 实例分割的任务是为图像中每个感兴趣的实例预估一个带有类别标签的像素掩码。目前实例分割的主流框架是两阶段方法Mask R-CNN[3]，它将实例分割转换为两阶段检测和分割任务。Mask R-CNN首先使用一个更快的R-CNN目标检测器来预测每个实例的bounding-box。文章提出了一个简单而有效的实例分割框架，称为CondInst(条件卷积实例分割)。CondInst没有使用基于实例的ROI作为固定权重的网络的输入，而是使用基于实例的动态实例感知网络。 论文地址：Conditional Convol
卷积神经网络「失陷」，CoordConv 来填坑
weixin_34355881的博客
07-13 602
选自Uber，作者：Rosanne Liu等，机器之心编译。卷积神经网络拥有权重共享、局部连接和平移等变性等非常优秀的属性，使其在多种视觉任务上取得了极大成功。但在涉及坐标建模的任务上（如目标检测、图像生成等），其优势反而成为了缺陷，并潜在影响了最终的模型性能。Uber 在这项研究中揭示出问题的本质就在于卷积的平移等变性，并据此提出了对应的解决方案 CoordConv。CoordConv 解决了坐...
Style-Guided Insulator Image Augmentation Based on Improved Conditional GAN for Defect Detection
最新发布
10-10
提供的参考引用中未提及基于改进条件生成对抗网络（Conditional GAN）的风格引导绝缘子图像增强用于缺陷检测的相关内容，无法根据引用准确回答该问题。不过可以从通用角度介绍相关情况。 在缺陷检测任务里，绝缘子图像的质量会影响检测的准确性与可靠性。基于改进条件生成对抗网络的风格引导图像增强技术，可通过学习图像的风格特征，生成具有特定风格的增强图像，以此提高图像的质量与多样性。 条件生成对抗网络（Conditional GAN）由生成器和判别器构成。生成器负责生成图像，判别器则判断图像是真实的还是生成的。改进的条件生成对抗网络可能会在网络结构、损失函数等方面进行优化，以提升生成图像的质量和风格控制能力。 风格引导的增强方式，是将特定的风格信息融入到生成过程中，让生成的绝缘子图像具有期望的风格特征，例如不同的光照条件、角度、噪声水平等。这样能模拟出更多实际场景下的绝缘子图像，增加训练数据的多样性，从而提高缺陷检测模型的泛化能力。 在缺陷检测中，使用增强后的图像训练模型，可使模型学习到更多的特征和模式，提高对不同风格和条件下绝缘子缺陷的识别能力。例如，在实际应用中，绝缘子可能会受到不同天气、光照等因素的影响，增强后的图像能帮助模型更好地适应这些复杂情况，减少误检和漏检的概率。 ```python # 以下是一个简单的条件生成对抗网络示例代码框架 import torch import torch.nn as nn import torch.optim as optim # 定义生成器 class Generator(nn.Module): def __init__(self, input_dim, output_dim): super(Generator, self).__init__() self.model = nn.Sequential( nn.Linear(input_dim, 128), nn.LeakyReLU(0.2), nn.Linear(128, 256), nn.BatchNorm1d(256), nn.LeakyReLU(0.2), nn.Linear(256, 512), nn.BatchNorm1d(512), nn.LeakyReLU(0.2), nn.Linear(512, output_dim), nn.Tanh() ) def forward(self, z, label): input_tensor = torch.cat((z, label), dim=1) return self.model(input_tensor) # 定义判别器 class Discriminator(nn.Module): def __init__(self, input_dim, num_classes): super(Discriminator, self).__init__() self.model = nn.Sequential( nn.Linear(input_dim + num_classes, 512), nn.LeakyReLU(0.2), nn.Linear(512, 256), nn.LeakyReLU(0.2), nn.Linear(256, 1), nn.Sigmoid() ) def forward(self, x, label): input_tensor = torch.cat((x, label), dim=1) return self.model(input_tensor) # 初始化网络 input_dim = 100 output_dim = 784 num_classes = 10 generator = Generator(input_dim, output_dim) discriminator = Discriminator(output_dim, num_classes) # 定义损失函数和优化器 criterion = nn.BCELoss() g_optimizer = optim.Adam(generator.parameters(), lr=0.0002, betas=(0.5, 0.999)) d_optimizer = optim.Adam(discriminator.parameters(), lr=0.0002, betas=(0.5, 0.999)) ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值