【BiSeNet】《BiSeNet：Bilateral Segmentation Network for Real-time Semantic Segmentation》

原创

已于 2023-02-06 11:25:00 修改 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉 #深度学习 #实例分割 #BiSeNet

于 2022-04-24 14:45:07 首次发布

本文介绍了ECCV 2018年提出的BiSeNet（Bilateral Segmentation Network），这是一个轻量级的语义分割网络，旨在解决快速推理的需求。该网络通过分离空间信息保留和感受野提供两个独立的路径——空间路径（Spatial Path）和上下文路径（Context Path），以克服输入尺寸限制、通道修剪和模型最后阶段删除带来的问题。实验表明，BiSeNet在保持速度的同时，提高了分割的准确性，尤其适用于AR、自动驾驶和监控等实时应用。

在这里插入图片描述

ECCV-2018

1 Background and Motivation

语义分割可以广泛的应用于 AR、自动驾驶、监控等场景，these applications have a high demand for efficient inference speed
for fast interaction or response.

目前轻量级语义分割网络从如下三个方面对网络进行加速（图1-a）

1）restrict the input size，缺点，丢了 spatial details

2）prune the channels of the network，缺点，作者认为是丢了 spatial capacity（有点过于由过推因了，只能说特征表达能力肯定是弱了，分辨率毕竟还在）

3）drop the last stage of the model，缺点，丢了感受野

在这里插入图片描述

为缓解 spatial-detail 的丢失，人们提出了采用 U-shape 的结构（代表 U-Net），但是 U-shape 结构也存在如下的不足：

1）reduce the speed（引入了对高分辨率特征图的融合操作）

2）most spatial information lost in the pruning or cropping cannot be easily recovered by involving the shallow layers

U-shape technique is better to regard as a relief, rather than an essential solution（总结的很不错）

作者提出了轻量级语义分割网络 Bilateral Segmentation Network (BiSeNet) with two parts: Spatial Path (SP) and Context Path (CP) 来应对现有轻量级语义分割网络存在的空间信息丢失、感受野收缩的问题。

2 Related Work

Spatial information
U-Shape method
Context information
Attention mechanism
Real time segmentation

3 Advantages / Contributions

设计提出 BiSeNet 轻量级分割网络，decouple the function of spatial information preservation and receptive field offering into two paths——Spatial Path and a Context Path.
设计了 two path 的特征融合模块 Feature Fusion Module (FFM) Attention Refinement Module (ARM)
在公开数据集上取得了 impressive results