DABNet: Depth-wise Asymmetric Bottleneck for Real-time Semantic Segmentation

论文解读|BMVC 2019|DABNet: Depth-wise Asymmetric Bottleneck for Real-time Semantic Segmentation DABNet: Depth-wise Asymmetric Bottleneck for Real-time Semantic Segmentation Paper:DABNet Github:Code 摘要 语义分割作为一项像素级的预测任务,需要巨大的计算量和参数才能获得高性能。最近,由于对自主系统和机器人的需求不断增加,在准确性和推理速度之间进行权衡是很重要的。本文提出了一种新颖的深度不对称瓶颈模块来解决这一难题,该模块有效地采用深度不对称卷积和扩张卷积来构建瓶颈结构。基于深度非对称瓶颈网络模块, 阅读详情

论文地址:https://arxiv.org/pdf/1907.11357.pdf

代码地址:https://github.com/Reagan1311/DABNet

论文利用了depth-wise asymmetric convolution and dilated convolution 设计了DAB module(Depthwise Asymmetric Bottleneck),充分利用了感受视野和上下文信息。

  • 关于实时分割的一些处理方法:

Enet----减少卷积filter的数量,减少计算量

ICnet----cascade network with 多尺度分辨率分支

ERFnet----残差连接和因式分解卷积

ESPnet ----esp module(efficient spatial pyramid)

BiSeNet ---- 两个分支信息的融合,语义信息和空间信息

空洞卷积:

Dilated convolution ---- 在不增加参数量的情况下扩大感受视野

deeplab----atrous spatial pyramid pooling (ASPP) module 采集多尺度信息

DenseASPP----concatenate dilated convolution layers 获取密集的多尺度信息

Convolution Factorization:

将普通卷积分解,减少计算量和memory的消耗。

例如inception,xception,mobilenet系列,shufflenet系列

 

  • DAB module

如上图c所示,

1. 作者首先采用了3*3的卷积去减少channel,而不是1*1的卷积。虽然1*1的卷积能够减少计算量。但是1*1的卷积在resnet中采用主要是为了加深网络的深度,但是这里不需要网络深度100层以上。

2. 为了更好的获取空间信息,作者在卷积之后将channel数减少了一般,并没有压缩太多。

3. 由于之前的网路结构已经证实分层的网络会对语义分割任务更有效,所以DAB module也是融合多尺度的信息,感觉也是借鉴了bisenet,采用了双分支的结构。

一个分支获取local information,为了减少计算量,借鉴了erfnet采用了将n*n的卷积分解成n*1深度可分离卷积和1*n的深度可分离卷积。

一个分支为了获取边缘语义信息,采用空洞卷积,在不减少分辨率的情况下。但是空洞卷积随着rate的增大,计算量也会变大。为了解决这个问题,作者将其与depth-wise asymmetric convolution结合。所以叫做depth-wise asymmetric dilated convolution。

激活函数:

作者采用了前置激活的策略(conv之前做激活),参考(Identity mappings in deep residual networks ICCV 2016),并且Mobilenetv2: Inverted residuals and linear bottlenecks中提出了non-linear layers in bottlenecks hurts the performance。所以在1*1的point-wise convolution之删除了non-linearity

  • 网络设计:

Downsampling策略:作者没有像enet一样一上来就下采样而是先用3*3卷积减少通道然后采用enet initial block,之后再经过一次不加max pooling的下采样。借鉴ESPNetv2中的方法,利用了long-range shortcut connection融合原图和downsampling block。

DAB block:做block内的信息融合,采用可空洞卷积。毕竟dense connect的方式效果还是很显著的。

DABnet:无decoder

  • 实验分析

参数的一些设置:use mini-batch stochastic gradient descent (SGD) with batch size 8, momentum 0.9 and weight decay 1e −4 in training. We employ the “poly” learning rate policy [5] and the initial learning rate is set to 4.5e −2 with power 0.9.

实验结果表明:

1. 空洞卷积rate{3, 3, 7, 7, 13, 13}要比{4, 4, 8, 8, 16, 16}高2.3个点。

2.加上decoder效果提升不大,但是很影响速度。

3.加入spp有效果提升,但是也会影响速度。

 

 

ERFNet: Efficient Residual Factorized ConvNet for Real-time Semantic Segmentation的理解 参考链接: https://www.jianshu.com/p/1ac45c696698 阅读详情

相关推荐

INCA基础教程

以软件自带Demo为例记录INCA学习过程,主要内容包括测量与标定。

yunqianrui的博客 6万+

【语义分割】DABNet -- Depth-wise Asymmetric Bottleneck for Real-time Semantic Segmentation

Paper:DABNet Github:Code Abstract DABNet 中提出了一个新的 Depth-wise Asymmetric Bottleneck (DAB) module to make a trade-off between accuracy and inference speed. DAB模块中采用了深度可分离卷积、空洞卷积以及分解卷积。此结构 extracts loca...

筱 4081

从零到一:Abaqus与Matlab联合仿真的自动化流程构建指南

本文详细介绍了如何构建Abaqus与Matlab联合仿真的自动化流程,涵盖基础架构设计、关键接口技术实现、结果提取与处理技术以及高级参数化优化流程。通过Python脚本作为桥梁,实现数据传递和任务控制,帮助工程师提升仿真效率。特别强调了版本兼容性、异常处理和性能监控等实用技巧。

weixin_29090089的博客 613

DAB结构详解

1、DAB模块 1)bn_conv2D实现: def bn_conv2D(x, filters, kernel_size, strides=(1, 1), dilation_rate=(1, 1), use_bias=False): x = Conv2D(filters, kernel_size, padding='same', strides=strides, ...

alex1801 5490

人工智能机器学习从入门到高级学习资料(含资料下载地址)

机器学习是一个技术含量较高的领域,高效学习需要多种途径相结合.以下是一些推荐的学习资源。首先介绍几个比较有用的社区,包含了丰富的学习资料

2401_86900375的博客 1649

torch_npu 用法笔记

torch_npu 用法笔记

jacke121的专栏 1540

**实时语义分割利器—DABNet:深度不对称瓶颈的革新**

实时语义分割利器—DABNet:深度不对称瓶颈的革新 项目介绍 在自动驾驶与机器人系统的蓬勃发展中,实时语义分割的需求日益增长。然而,传统方法往往面临着精度和速度难以兼得的挑战。DABNet(Depth-wise Asymmetric Bottleneck Net)应运而生,作为一款专为实时语义分割设计的神经网络模型,它巧妙地通过深度不对称卷积和扩张卷积构建瓶颈结构,显著减少了计算成本的同时保持了...

gitblog_00021的博客 541

(王道408考研操作系统)第三章内存管理-第一节1:内存基础知识、程序编译运行原理

注意:本节内容和《计算机组成原理》“存储器”那一部分内容相关性很强,组成原理是从硬件角度,操作系统是从软件角度。因此如果没有学习过这部分的同学,强烈建议先看这一部分 王道计算机组成原理笔记 本文主要会涉及以下必要的内存知识 文章目录一:内存及其作用 一:内存及其作用 内存:内存又称之为主存。是一种硬件设备,作为CPU和硬盘的缓冲区,用于解决其速度不匹配的问题,提高整机性能。程序执行前需要放入内存才能运行 ...

快乐江湖的博客 2800

【语义分割】DFANet -- Deep Feature Aggregation for Real-Time Semantic Segmentation

一、Architecture DFANet包括四个部分:the lightweight backbone、sub-network aggregation、sub-stage aggregation moduels以及最后的decoder。 backbone:改进Xception + fully-connected attention sub-network aggregation:将之前back...

筱 5816

在blender中安装vtk插件

Blender 是一个开源的、功能强大的3D计算机图形软件,广泛用于创建动画片、视觉效果、艺术作品、3D打印模型、互动3D应用程序和视频游戏。Blender 是由 Blender 基金会开发和维护的,具有丰富的功能和灵活的扩展性。在github上下载zip插件。

如果想成为中心,那么就到中心去吧。 297

1、信息与物理世界:“It from Bit”还是“Bit from It”?

这篇博文探讨了物理学与信息理论之间的深刻联系,从惠勒提出的“It from Bit”概念出发,讨论了信息是否是物质世界的基础,或者物质是否是信息的来源。文章回顾了2013年举办的征文竞赛以及众多学者对这一问题的不同观点,涵盖了量子理论、热力学、计算机科学、黑洞物理以及时空本质等多个领域。同时,文章还分析了信息理论在哲学层面的含义,并展望了其在未来理论、实验和应用研究中的潜力与方向。

water的专栏 299

DAB-Net:用于实时语义分割的深度不对称瓶颈层

摘要: 提出一种新的深度非对称瓶颈(DAB)模块,该模块有效采用非对称卷积和扩张卷积来构建瓶颈层。由DAB模块组成的DAB-Net,生成了足够的接受域,密集的利用了上下文信息。 Citycapes测试集上实现70.1%的miou,一张FGTX1080Ti上速度为104FPS。代码地址:https://github.com/Reagan1311/DABNet 1、介绍 [16.18.19.2...

alex1801 3010

如何调用 DBMS_DISKGROUP 对 ASM 文件进行随机读取

该篇博客介绍了如何通过 Java 调用 DBMS_DISKGROUP 读写 Oracle ASM 共享存储文件,并提供了 Java Demo。并测试出 DBMS_DISKGROUP 存在性能瓶颈。

我要出家当道士 1182

使用adb connect命令连接多个Android设备(WIFI方式)

连接说明及步骤 除了USB方式连接Android终端设备(PC端的USB口有限,某些情况下WIFI更加方便),还通过adb connect命令利用TCP/IP协议来连接。 1、在手机设置中打开USB调试功能(某些手机还能限制是否允许远程调试,如果存在此选项需要一并打开)。 2、将手机和PC在同一网络下(连接同一WIFI)。 3、使用USB将手机连接到电脑。 4、使用adb devices命令检查设备连接情况 $ adb devices List of devices attached 693298ff de

Bab的博客 3万+

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

DAB04 一、MySQL多表查询、二、MySQL管理工具、三、MySQL用户授权及撤销 (重点)

一、多表查询 二、 MySQL管理工具 三、用户授权及撤销 (重点) 一、多表查询 1)复制表 功能:备份表、快速建表 1)备份表 注意:备份的表不会连键值索引备份。备份的数据取决于约束条件。 mysql> create table beifen.user1 select * from table userdb.user; //将userdb.user表备份beifen.user1 mys...

qq_41270538的博客 529

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Github 项目 - CurriculumNet

原文:Github 项目 - CurriculumNet - AIUAI 论文:CurriculumNet: Weakly Supervised Learning from Large-Scale Web Images - ECCV2018 实现:<Github - research-curriculumnet - Caffe> 论文阅读学习 - CurriculumNet: Wea...

长风破浪会有时,直挂云帆济沧海 1966

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

深度学习知识十三:pytorh-inception多分支辅助分类、shortcut、densenet、 DepthWise深度可分离卷积、ShuffleNet的channel shuffle

参考博客:变形卷积核、可分离卷积?卷积神经网络中十大拍案叫绝的操作。 pytorch微调网络Inception3 CNN网络架构演进:从LeNet到DenseNet 1、inception的多分支卷积: 最初的Inception的卷积如下: 其是对输入进行多个卷积处理,往往比单一卷积核处理要好,然后再把处理后特征进行cat()操作。由于其计算量大,参数多。 后来进行改进了,添加了...

yangdeshun888的博客 3450

CNN中卷积操作十大改进方向(Depth-wise/ Dilated/ Deformable/ Shuffle/ SENet etc)

转自:作者:人工智豪链接:https://www.jianshu.com/p/71804c97123d來源:简书著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。CNN从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点,从这些充满革新性的工作中探讨日后的CNN变革...

蚂蚁搬家 2万+

深度学习 --- 深度残差网络(ResNet)变体介绍

先说明,本文不是本人所写,是本人翻译得来,目的是系统整理一下,供以后深入研究时引用,如有侵权请联系本人删除。 ResNet变体 宽剩余网络(WRN):从“宽度”入手做提升: Wide Residual Network(WRN)由Sergey Zagoruyko和Nikos Komodakis提出。虽然网络不断向更深层发展,但有时候为了少量的精度增加需要将网络层数翻倍,这样减少了特征的重用,也...

进击的菜鸟 2万+

深度学习之轻量型网络shufflenet

参考 shufflenet-cvpr2017 shufflenet An Extremely Efficient Convolutional Neural Network for Mobile Devices 概要 ShuffleNet是Face++的一篇关于降低深度网络计算量的论文,号称是可以在移动设备上运行的深度网络。这篇文章可以和MobileNet、Xception和ResNeXt结合来看,因为有类似的思想。卷积的group操作从AlexNet就已经有了,当时主要是解决模型在双GPU上的训练。ResN

AndyJ的学习之旅 1178

ADB之Connect命令

在默认情况下adb是通过USB连接的,但是adb也支持通过wifi连接,前提是使用adb命令的电脑终端与待调试的手机在同一网段下。这样,在没有usb或者远程下都可以完成调试手机。但是手机的调试模式改为wifi后,手机连接usb就会无效,包括充电。可以将手机在wifi下切回USB即可。 注意:在无线连接使用ADB的时候,USB连接是没法使用ADB的。 1.手机USB线连接到PC端,并打开手机USB调试; 2.在CMD窗口输入:adb tcpip 5555; 3.可以断开USB数据线与PC端的连接; 4.在CM

qq_39172055的博客 1万+

pytorch中计算准确率,召回率和F1值的方法

predict = output.argmax(dim = 1) confusion_matrix =torch.zeros(2,2) for t, p in zip(predict.view(-1), target.view(-1)): confusion_matrix[t.long(), p.long()] += 1 a_p =(confusion_matrix.diag() / c...

coding_zhang的博客 1万+

Expected object of scalar type Long but got scalar type Float

背景:训练模型的时候报错Expected object of scalar type Long but got scalar type Float 解决: 方法一: targets =torch.LongTensor(targets) 方法二: targets = targets.to(self.device,dtype=torch.int64) ...

coding_zhang的博客 9560

tensorflow中tf.train.string_input_producer()方法

背景:最近用tensorflow读取大量的数据,为了高效读取数据,采用tf.train.string_input_producer()方法 问题:tf.train.string_input_producer()中可以指定epoch这个参数,但是用的时候发现好像没法获取一个epoch是什么时候结束 官方文档:https://www.tensorflow.org/api_docs/python/t...

coding_zhang的博客 6296

学习过程中遇到的bug(持续更新)

错误:RuntimeError: CUDA error: unknown error 解决方法:sudo rm -rf ~/.nv 错误:RuntimeError: Failed to export an ONNX attribute, since it’s not constant, please try to make things (e.g., kernel size) s...

coding_zhang的博客 5865

RuntimeError: Failed to export an ONNX attribute, since it's not constant, please try to make things

这是一个Pytorch1.1版本pytorch模型转onnx的bug 参考:https://blog.youkuaiyun.com/Cxiazaiyu/article/details/91129657 解决方法: 1.pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch==1.0.1 2.pip install -i https...

coding_zhang的博客 2943
上一篇: Efficient Dense Modules of Asymmetric Convolution for Real-Time Semantic Segmentation
下一篇: cv2.VideoCapture() always return false
coding_zhang
博客等级 码龄10年 9粉丝 39原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值