论文主要要点记录《Rethinking BiSeNet For Real-time Semantic Segmentation》

摘要

1. bisenet是流行的实时分割双流网络，但是其：

• 基于从其他图像分类的主干预训练模型开始训练，对于图像分割可能效率不高
• 使用额外的网路层获取空间信息编码，耗时长

2. 本文，降低特征维数并聚合在一起进行特征表示，

• 在解码器中使用了一个细节聚合模块，以单流的方式将学习到的空间信息集成到底层。
• 最后，融合底层特征和深度特征预测得到最终分割结果。

介绍

1. 许多学者设计出来了低延迟，高精度的高效的cnn模型。

• 实时语义分割
• DFANet[18]和BiSeNetV1[28]选择了轻量级的骨干，使用特征融合或者聚合来提升准确性。这些模型都基于图像分类任务的轻量级主干进行训练，可能存在任务差异性设计的不足，对图像分割的结果产生一定影响。
• 限制图像的输入分辨率大小，会使得模型容易忽略边界和小物体的细节信息。
• BiSeNet采用双流框架，聚合底层细节以及高层语义信息，但是这种额外增加路径的方式耗时较高，且辅助路径缺乏底层的信息引导
• 本文提出了一种新的手工设计的网络，具有更快的推理速度，可解释的结构以及更好的性能。
• STDC模块(short - density Concatenate module)，利用少量的参数得到不同的可扩展接收域。
• 然后，将STDC模块无缝集成到U-net架构中，形成STDC网络

2. 串联多个连续层的响应图，每个层对输入图像进行不同尺度的编码，得到多尺度特征表示

3. 通过逐层减小滤波器大小来加速？

4. stdc采用细节引导模块来引导底层学习空间细节

• 利用细节聚合模块来生成细节的真值
• 利用二元交叉熵和dice损失来优化细节信息的学习任务
• 可视为侧信息学习
• 推理过程中没有

5. s