[DIS]Deep Dual Learning for Semantic Image Segmentation

最新推荐文章于 2024-08-23 18:18:18 发布
最新推荐文章于 2024-08-23 18:18:18 发布
阅读量1k 收藏
点赞数
分类专栏： Semantic Segmentation 图像语义分割论文 文章标签： semaintic segmentation computer vision
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u014451076/article/details/79242726
版权

Abstract

ICCV2017的文章，港中文，中山和商汤合作.
本文认为现在的语义分割的性能并没有完全被开发出来，原因是需要大量的pixel级别的标注。本文的目的就是提出dual image segmentation(DIS)，半监督来提高分割效率。DIS的三个主要优点是: (1)利用tags来提高labelmap的结果 (2) 能够clean tags that have noises (3) 大幅度减少训练过程中pixel-level annotation的需要.
最终完成了SOTA on Pascal VOC 2012 without CRF/MRF.

Introduction

1　　
如图，现在的语义分割半监督的方法主要有两种，一种是a所示的：分类和分割联合训练，但是分割只在有分割时进行Loss的BP，两一种方法是b所示，使用tags来提高labemap的性能，一个做法就是连接label到tag一个1x1的卷积的进行BP.

Motivataion

在本文看来，以上介绍的b方法虽然tag能够帮助训，但是没有物体的边界和形状信息，而且tag本身也可能存在噪音.
本文为了解决以上问题，提出了DIS inspired by the dual learning in machine learning.

Framework

基本想法就是图片I可以得到ground truth，同理ground truth也可以得到图片I’，如果I和I’十分接近，就可以认为得到的ground truth比较好(gt 是经过一部分强监督进行训练的).并且这个过程是可以通过半监督实现的.
1　　
框架分四个部分，第一部分是ResNet101提取特征，然后U网络是labelmap prediction，V网络是tag classification.

Detail in training

  • Fully-supervised Stage
    三阶段: 先训练resnet, subnet-1, subnet-3，然后固定上边的参数训练subnet-2，最后联合训练四个模块
  • Semi-supervised Stage
    两个阶段: 先固定网络参数，将通过u1和v1作为变量，优化z3等于原图来获得更好的，然后利用获得的u1和v1来计算出Lw和T’w，将两者作为ground truth对网络参数优化.

测试

存在迭代

Experiment

结果是当时的SOTA，质的飞跃，目前半监督里最好的结果，强监督里仅次于deeplabv3.

1

Others

没有公开的代码

Dual Super-Resolution Learning for Semantic Segmentation（CVPR2020)）论文解读
向上生长的程序媛的博客
01-12 711
目录 1.网络结构图 2.单模块结构 2.1.语义分割超分辨率（SSSR）模块 2.2.单图像超分辨率（SISR）模块 2.3.特征相似性（FA）模块 3.损失函数 4.部分结果展示 《Dual Super-Resolution Learning for Semantic Segmentation》这篇文章是中科院自动化研究所的2020CVPR论文，我觉得可以借鉴亮点是将超分辨率重建（Super-Resolution）用在分割任务上，不仅没有加大计算量，而且提高了分割精度。不禁感叹，.
CVPR2020-图像超分辨率与语义分割结合，提升2-3个点 | Dual Super-Resolution Learning for Semantic Segmentation
weixin_42096202的博客
06-18 7241
图像超分辨其实可以帮助小目标检测与语义分割这些任务，本文提出的框架简单有效 Github地址：https://github.com/wanglixilinx/DSRL. Abstract： 当前最先进的语义分割方法通常使用高分辨率输入来获得高性能，这带来了巨大的计算代价，并限制了它们在资源受限的设备上的应用。在本文中，我们提出了一个简单而灵活的双分支框架，称为双重超分辨率学习（DSRL），以有效提高分割精度，而不会引起额外的计算成本。具体来说，该方法包括三部分：语义分割超分辨率（SSSR），单图像超分.
语义分割--Deep Dual Learning for Semantic Image Segmentation
AI小作坊 的博客
08-25 3512
Deep Dual Learning for Semantic Image Segmentation ICCV2017针对语义分割问题，本文提出了一个 dual image segmentation (DIS)系统 利用一部分 per-pixel labelmaps的训练样本和 一部分 image-level tags 的样本 进行联合训练，得到较好的分割结果。本文定义了一些符号： I 输入图
Dual Super-Resolution Learning for Semantic Segmentatio || CVPR2020
qq_41997237的博客
07-10 663
Dual Super-Resolution Learning for Semantic Segmentatio 用于语义分割的双超分辨率学习 Abstract： 当前的语义分割通常使用高分辨率输入来获得好的效果，但需要巨大的计算资源受设备的限制。**本文我们提出了一个简单灵活的 two-stream framework 方法，叫做 Dual Super-Resolution Learning （DSRL），在不引入额外算力消耗的情况下提升分割的准确性。方法由 3 部分组成：Semantic Segment
语义分割之Dual Super-Resolution Learning for Semantic Segmentation
画心
07-27 2311
Dual Super-Resolution Learning for Semantic Segmentation 文章目录Dual Super-Resolution Learning for Semantic Segmentation说在开头网络结构性能增益参考链接 原始链接：https://www.yuque.com/lart/papers/gdgzv8 说在开头 CVPR2020的一篇工作。引入了超分辨率恢复任务作为辅助任务，来帮助语义分割网络获得更高分辨率且更加良好预测。这篇文章不同于现有的方法
Dual Super-Resolution Learning for Semantic Segmentation解读
weixin_42565571的博客
06-14 4866
双边超分辨率学习语义分割 收录在cvpr2020 摘要：现在的最好的语义分割办法用高分辨率的输入去提高模型性能，这种方法使得计算量增加很多。我们提出了灵活而简单的双支路网络框架（叫DSRL）可以很好的提高网络精度的同时不引入额外的计算量。具体的来说，我们的方法分为三部分：1.超分辨率分割（SSSR）2.单张图像超分辨率（SISR）3.特征关联（FA）模块。可以在低分辨率的输入的情况下保持高分辨率，同时减少计算量。这种方法还可以很简单的应用到其他任务上如人体姿态估计。我们的方法在人体姿态估计与Citysca
Image Segmentation Using Deep Learning: A Survery
Fantastic
09-23 3949
图像分割综述–论文翻译 论文地址：https://arxiv.org/pdf/2001.05566.pdf 摘要 图像分割是图像处理以及计算机视频的关键内容，其应用场景非常广泛，如场景理解、医学图像分析、机器人感知、视频监控、增强显示和图像压缩等。目前关于图像分割的算法论文数量非常多。最近，由于深度学习模型在计算机视频任务中的出色表现，大量的图像分割研究工作都在开发深度学习模型在图像分割中的应用。在本次调查综述中，我们提供全面的图像分割的文献综述，涵盖了语义分割和实例分割的广泛开创性工作，其中包括全卷机像素
【点云系列】综述： Deep Learning for 3D Point Clouds: A Survey
weixin_43882112的博客
12-03 5476
文章目录摘要简介：2 背景2.1 数据集2.2 衡量指标3 3D形状分类3.1基于多视角的方法3.2基于体素的方法3.3 基于点的方法3.3.1逐点MLP网络3.3.2基于卷积的网络3.3.3基于图的网络3.3.4基于数据索引的方法3.3.5其他方法小结4 3D物体检测与跟踪4.1 3D物体检测4.1.1 基于候选区域的方法4.1.2 single-shot方法4.2 3D对象跟踪4.3 3D场景流估计4.4 小结：5 3D点云分割5.1 3D 语义分割5.1.1 基于投影的方法5.1.2 基于离散的方法5
【AI视野·今日CV 计算机视觉论文速览 第272期】Fri, 20 Oct 2023
TomRen
10-24 1007
AI视野·今日CS.CV 计算机视觉论文速览 Fri, 20 Oct 2023 Totally 62 papers 👉上期速览✈更多精彩请移步主页 Daily Computer Vision Papers Putting the Object Back into Video Object Segmentation Authors Ho Kei Cheng, Seoung Wug Oh, Brian Price, Joon Young Lee, Alexander Schwing我们提出了 Cu
[24.09.28更新NeurIPS‘24]SAM（Segment Anything Model）最新顶会文章汇总
最新发布
Alan_Dr的博客
08-23 1275
SAM（Segment Anything Model）最新顶会文章汇总 24.09.28更新NeurIPS'24
CVPR2019领域自适应/语义分割：Adapting Structural Information across Domains for Boosting Sema适应结构信息跨领域促进语义分割
ssshyeong的博客
04-21 4064
为了解决用于语义分割任务的无监督域适应问题，提出一个域不变结构提取(DISE)框架解决图像域不变结构和特定于域的纹理表示,进一步实现了图像的跨域翻译和标签转移，提高了分割性能。
SLIC超分辨率SAR分割算法
11-29
里面含有目录，目录里说明了各个函数的用法，可在MATLAB中调用slic函数，方可运行
DeepLab: Semantic Image Segmentation
09-27
DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs
两篇关于用DL做Semantic Image Segmentation的文章
轻枫叶跃的专栏
05-26 4598
一、Weakly- and Semi-Supervised Learning of a Deep Convolutional Networkfor Semantic Image Segmentation 这篇文章的主要贡献点在于： 1、 实验证明仅仅利用图像整体的弱标签很难训练出很好的分割模型。 2、 可以利用bounding box 来进行训练，并且得到了较好的结果，这样可以代替用pixe
《Rethinking Atrous Convolution for Semantic Image Segmentation》论文笔记
安成
04-20 383
论文地址：https://arxiv.org/pdf/1706.05587.pdf源码地址：tensorflow还是继续语意分割的文章：Deeplab v3《Rethinking Atrous Convolution for Semantic Image Segmentation》What:    这篇文章到底讲了什么，说实话，阅读完了我还是有点蒙B的，咋好像没什么突出的贡献呢，还是说的空洞卷积用...
[IDW-CNN]Learning Object Interactions and Descriptions for Semantic Image Segmentation
Jinming Su
02-05 501
IDW-CNN Abstract CVPR 2017的文章，中山，港中文，商汤和中科院深研院合作的文章，和DIS是相同的作者. 本文仍然是立足于说现有的图像详细标注太少，导致语义分割的性能的首选，所以采用一种若监督的方法来提升性能(这个motivation似乎可以是所有弱监督方法的mt).本文提出使用Image Descriptions in the Wild(IDW)数据集结合VOC2...
语义分割--Learning Object Interactions and Descriptions for Semantic Image Segmentation
AI小作坊 的博客
07-05 2267
Learning Object Interactions and Descriptions for Semantic Image Segmentation CVPR2017本文主要是从训练数据的角度来提升CNN分割性能的。由于像素级别标记的样本很少，制作样本成本高。这里直接根据关键词从网络上搜索相关图像，建立了一个数据库 IDW， 结合 VOC12上面的训练数据联合训练，对此设计了一个 IDW-C
[论文笔记]Dual Graph Convolutional Network for Semantic Segmentation
Aaaha_jasper的博客
04-12 1380
Dual Graph Convolutional Network for Semantic Segmentation 1. Abstract: DGCNet通过网络中两个正交图建模了输入特征的全局上下文关系， 第一个子块建模像素间的空间关系，第二个子块建模网络特征图的通道维度的相互依赖关系。把特征映射到新的能够建模全局相互关系的低维度空间。 2. Intro: 研究现状： 为了扩大网络感受野1. FCN通过增加网络的深度，但是线性的增长较缓慢，不能捕获长距离的像素关系。2. 扩张卷积（空洞卷积）的缺点是卷
深度学习——Dual Super-Resolution Learning
weixin_51352656的博客
11-09 710
CVPR2020论文：Dual Super-Resolution Learning for Semantic Segmentation 1.主要工作： 提出了双信息流结构的超分辨率深度学习网络（DSRL网络）。在不增加计算量的情况下，提高语义分割的精度。 验证了DSRL网络框架的通用性，它可以很容易地扩展到其他需要高分辨率表示的任务，如人体姿态估计。 证明了该方法在语义分割和人体姿态估计方面的有效性。 2.主体架构 主要分为3部分：(a) Semantic Segmentation Super-Resol
deeplab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs
03-16
Deeplab是一种使用深度卷积网络、空洞卷积和全连接CRFs的语义图像分割方法。它能够对图像中的每个像素进行分类，从而实现对图像的精细分割。其中，空洞卷积可以增加感受野，提高分割的准确性；全连接CRFs可以对分割...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值