RefineNet学习笔记

本文详细介绍了RefineNet网络结构,该结构针对深度卷积网络在语义分割中因下采样导致信息丢失的问题,提出多路径细化网络和链式残差池化,通过残差链接融合多层特征,有效地保留了底层信息,提高了语义分割的准确性。

Abstract

目前深度卷积网络在目标识别和图像分割等问题上表现突出,但频繁的下采样丢失了原图像的信息。我们提出一种RefineNet网络,使用残差链接显式将各个下采样层和后面的网络层结合在一起。这样网络高层的语义特征可以直接从底层的卷积层中获得refine。一个RefineNet单元使用残差链接和identity映射,对于端对端的训练很有效。我们也介绍了一种链接残差池化,它可以捕获大量背景信息。


1. Introduction

语义分割的在这儿任务是给每个像素点分配一个标签,这也被认为是密集分类问题(dense classification problem)。相关的问题如被称为目标解译可以被转换为语义分割。最近的CNN网络,如VGG,ResNet等在识别中变现很好,但这些方法存在明显的限制当解决密集预测任务如语义分割时,下采样操作使得最终的图像信息损失很大。

一种方式是利用反卷积上采样信息,但这种方式无法恢复底层损失的信息。因此它不能生成准确的高层预测结果。底层信息是准确预测边界和细节的基础。DeepLab提出dilated卷积来在不下采样的基础上扩大感受野。但这种策略有两个限制。第一,需要计算大量的卷积特征图在高纬上而引起(computational expensive)+(huge GPU memory resources)。这限制了计算高层特征和输出尺度只能为输入的1/8。第二,dilate卷积引起粗糙下采样特征,这潜在导致重要细节的损失。

另外的方法融合中层特征和高层特征。这种方法基于中层特征保持了空间信息。这种方法尽管补充了特征如边界、角落等,但缺乏强大的空间信息。

所有层的信息对于语义分割都是有帮助的。高层的信息识别图像区域的类别,底层特征参数轮廓、细节边界信息。如何结合这些特征任然是一个开放问题。为了这个目的我们提出RefineNet网络, 主要贡献:

1、我们提出多路径Redinement网络,融合多层特征。
2、使用残差级联的方法组织网络。这样梯度可以短路传播。
3、我们提出链式残差池化来从一

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值