DDRNet实时语义分割

Deep Dual-resolution Networks for Real-time and Accurate Semantic Segmentation of Road Scenes

原文，项目地址

摘要： 语义分割是自动驾驶汽车理解周围场景的关键技术。当代模型的吸引人的性能通常是以繁重的计算和漫长的推理时间为代价的，这对于自动驾驶来说是无法忍受的。最近的方法使用轻量级架构（编码器-解码器或双路径）或对低分辨率图像进行推理，实现了非常快速的场景解析，甚至在单个 1080Ti GPU 上以超过 100 FPS 的速度运行。然而，这些实时方法与基于扩张主干的模型在性能上仍然存在显着差距。为了解决这个问题，本文提出了一系列专门为实时语义分割而设计的高效主干网。所提出的深度双分辨率网络（DDRNet）由两个深度分支组成，在这两个分支之间执行多个双边融合。此外，我们设计了一种名为深度聚合金字塔池模块（DAPPM）的新上下文信息提取器，以扩大有效感受野并基于低分辨率特征图融合多尺度上下文。本文的方法在 Cityscapes 和 CamVid 数据集上实现了准确性和速度之间的新的最先进的权衡。特别是，在单个 2080Ti GPU 上，DDRNet-23-slim 在 Cityscapes 测试集上在 102 FPS 下产生 77.4% mIoU，在 CamVid 测试集上在 230 FPS 下产生 74.7% mIoU。通过广泛使用的测试增强，本文的方法优于大多数最先进的模型，并且需要更少的计算。

---

引言：
在本文中，提出了具有深度高分辨率表示的双分辨率网络，用于高分辨率图像（尤其是道路驾驶图像）的实时语义分割。本文的 DDRNet 从一个主干开始，然后分为两个具有不同分辨率的并行深度分支。一个深层分支生成相对高分辨率的特征图，另一个深层分支通过多次下采样操作提取丰富的语义信息。两个分支之间桥接多个双边连接，实现高效的信息融合。此外，还提出了一个名为 DAPPM 的新颖模块，它输入低分辨率特征图，提取多尺度上下文信息，并以级联方式合并它们。在语义分割数据集上进行训练之前，双分辨率网络按照常见范例在 ImageNet 上进行训练。

主要创新：

1. 提出了一系列具有深度双分辨率分支和多个双边融合的新型双边网络，作为实时语义分割的有效骨干网络。
2. 一个新颖的模块旨在通过将特征聚合与金字塔池相结合来获取丰富的上下文信息。当在低分辨率特征图上执行时，推理时间几乎没有增加。

---

方法

在本节中，描述整个管道，它由两个主要组件组成：深度双分辨率网络和深度聚合金字塔池模块。