二十三章：Gated-SCNN:Gated Shape CNNs for Semantic Segmentation ——用于语义分割的门控形状卷积神经网络

原创

已于 2023-08-03 11:47:30 修改 · 714 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#cnn #深度学习 #神经网络 #网络 #架构 #人工智能

于 2023-07-20 11:52:26 首次发布

Gated-SCNN是一种新的双流卷积神经网络架构，用于语义分割，它将形状信息作为单独的处理分支。通过门控机制，形状流专注于处理与边界相关的激活，提高了边界预测的准确性。网络通过结合经典流的高级信息和形状流的低级信息，提升了对细小物体的分割性能，尤其在Cityscapes基准测试中表现出色。

原文信息：

原文题目：《Gated-SCNN: Gated Shape CNNs for Semantic Segmentation》

原文引用：Takikawa T, Acuna D, Jampani V, et al. Gated-scnn: Gated shape cnns for semantic segmentation[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2019: 5229-5238.

原文链接：https://openaccess.thecvf.com/content_ICCV_2019/papers/Takikawa_Gated-SCNN_Gated_Shape_CNNs_for_Semantic_Segmentation_ICCV_2019_paper.pdfhttps://openaccess.thecvf.com/content_ICCV_2019/papers/Takikawa_Gated-SCNN_Gated_Shape_CNNs_for_Semantic_Segmentation_ICCV_2019_paper.pdf

0.摘要

当前图像分割的最先进方法通过一个密集的图像表示来处理颜色、形状和纹理信息，这些信息都在深度卷积神经网络内部进行处理。然而，这种方法可能不太理想，因为它们包含了与识别相关的非常不同类型的信息。在这里，我们提出了一种新的双流卷积神经网络架构，用于语义分割，其中明确将形状信息作为单独的处理分支（即形状流），并与经典流并行处理信息。这种架构的关键是一种新型的门控机制，将两个流的中间层连接起来。具体来说，我们使用经典流中的高级激活来控制形状流中的低级激活，有效地去除噪声，并帮助形状流只专注于处理相关的边界信息。这使得我们可以使用一个非常浅的架构来处理形状流，该流在图像级别分辨率上操作。我们的实验证明，这导致了一个非常有效的架构，可以在物体边界周围产生更锐利的预测，并显著提升对较细小物体的性能。我们的方法在Cityscapes基准测试中取得了最先进的性能，无论是在掩码(mIoU)还是边界(F-score)质量上，相比强基准模型提高了2%和4%。

1.引言

语义图像分割是计算机视觉中最广泛研究的问题之一，在自动驾驶[43,17,58]、3D重建[38,30]和图像生成[22,48]等领域都有应用。近年来，卷积神经网络（CNN）在几乎所有主要的分割基准测试中都取得了显著的准确性改进。一个标准的做法是通过将全连接层转换为卷积层来将图像分类的CNN架构适应于语义分割任务[37]。然而，使用分类架构进行密集像素预测有几个缺点[52,37,59,11]。一个显著的缺点是由于使用池化层导致输出的空间分辨率损失。这促使一些研究[52,59,15,35,21]提出了专门的CNN模块，帮助恢复网络输出的空间分辨率。

我们在这里提出，由于颜色、形状和纹理信息都在一个深度CNN内部一起处理，所以架构设计中也存在固有的低效性。需要注意的是，这些信息可能包含与识别相关的非常不同数量的信息。例如，为了获得形状的有区别的编码，可能需要查看完整和详细的对象边界[2,33]，而颜色和纹理包含相当低级的信息。这也可以解释为什么残差[19]、跳跃[19,53]甚至密集连接[21]可以带来最显著的性能提升。增加额外的连接有助于不同类型的信息在不同深度的网络中流动。然而，通过设计将这些表示分离开来可能会导致更自然和有效的识别流程。在这项工作中，我们提出了一种新的双流CNN架构，用于语义分割，明确将形状信息作为单独的处理分支。特别地，我们保持经典的CNN在一个流中，并添加一个所谓的形状流，以并行处理信息。我们明确不允许在顶层之前将信息在两个流之间融合。

我们架构的关键是一种新类型的门，允许两个分支进行交互。特别地，我们利用经典流中包含的高级信息来去噪形状流在其早期处理阶段的激活。通过这样做，形状流仅专注于处理相关的信息。这使得形状流可以采用非常有效的浅层架构，以全分辨率处理图像。为了确保形状信息被定向到期望的流中，我们通过一个语义边界损失来对其进行监督。我们进一步利用一种新的损失函数，鼓励预测的语义分割与真实的语义边界正确对齐，这进一步鼓励融合层利用来自形状流的信息。我们将我们的新架构称为GSCNN。我们在Cityscapes基准测试[13]上进行了广泛的评估。需要注意的是，我们的GSCNN可以作为插件在任何经典的CNN骨干网络之上使用。在我们的实验中，我们探索了ResNet-50 [19]、ResNet-101 [19]和WideResnet [57]，并在所有这些模型中都取得了显著的改进。在mIoU和F-boundary分数方面，我们的性能超过了最先进的DeepLab-v3+[11]超过1.5%。对于较细和较小的物体（例如电线杆、交通灯、交通标志），我们的改进尤其显著，IoU提高了7%。我们进一步使用先验作为距离的代理，在不同距离的情况下评估性能。实验结果显示，我们始终优于最先进的基准模型，在最大距离（即远离的物体）的mIoU方面提高了6%。