论文解读|ICCV2019|Gated-SCNN: Gated Shape CNNs for Semantic Segmentation

最新推荐文章于 2023-07-20 11:52:26 发布

原创

最新推荐文章于 2023-07-20 11:52:26 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #计算机视觉 #机器学习 #人工智能

论文提出了一种双流CNN结构Gated-SCNN，通过门控机制强化形状信息处理，提高语义分割的边界清晰度和性能。在Cityscapes基准上，该方法在mIoU和F-boundary分数上超越了DeepLab-v3，尤其在小物体上表现出显著提升。

标题：Gate - SCNN:用于语义分割的门控形状CNN
来源：ICCV2019
论文地址：https://arxiv.org/abs/1907.05740
Github：https://github.com/nv-tlabs/GSCNN
项目地址：https://nv-tlabs.github.io/GSCNN/

摘要

目前最先进的图像分割方法将颜色、形状和纹理信息都在一个深度CNN中处理，然而，这可能并不理想，因为它们包含与识别相关的非常不同类型的信息。在这里插入图片描述
在这里，我们提出了一种新的用于语义分割的双流CNN体系结构，它明确地将形状信息连接为一个单独的处理分支，即形状流，它与经典流并行处理信息。该体系结构的关键是一种新型的门，它连接两个流的中间层。具体来说，我们使用经典流中的高级激活来屏蔽形状流中的低级激活，有效地去除噪声，帮助形状流只专注于处理相关的边界相关信息。这使我们能够使用一个非常浅的架构来处理在图像级分辨率上运行的形状流。我们的实验表明，这导致了一个高效的架构，产生更清晰的预测周围的对象边界，并显著提高性能在更薄和更小的对象。我们的方法在城市景观基准上实现了最先进的性能，在掩模(mIoU)和边界(F-score)质量方面，比强基线提高了2%和4%。

一、引入

我们认为在架构设计中也存在着一种内在的无效性，因为颜色、形状和纹理信息都是在一个深度CNN中一起处理的。但是实际上这些不同的信息，比如color或者shape，texture对于识别来说的话，应该是包含不同的数量的信息的。作者举了一个例子，一个人刚开始看一个物体的时候，需要看到完整地，细节地物体的边界，从而能够得到具有辨别性的shape编码。但是color和texture就相对包含一些low-level的信息，意思是，对于物体的识别就没有轮廓那么重要。这种思路实际上可以解释为什么resnet需要residual skip来提升网络的性能，或者是dense connection。以你为，通过添加这种additional connectivity能够帮助不同类型的信息通过不同scale的深度进行融合流通。

在这项工作中，作者提出了一种新的用于语义分割的双流CNN结构，它明确