RFNet：基于RGB-D数据的语义分割和意外障碍物检测的实时融合网络

最新推荐文章于 2025-03-17 09:30:49 发布

3D感知巨头

最新推荐文章于 2025-03-17 09:30:49 发布

阅读量2.5k

点赞数 3

分类专栏：语义分割文章标签：机器学习深度学习自动驾驶多模态数据融合 RGB-D融合

本文链接：https://blog.youkuaiyun.com/u013531940/article/details/115873312

版权

语义分割专栏收录该内容

8 篇文章

订阅专栏

一、Title

Real-Time Fusion Network for RGB-D Semantic Segmentation Incorporating Unexpected Obstacle Detection for Road-Driving Images

二、Journal

IEEE ROBOTICS AND AUTOMATION LETTERS

三、Background

道路的小障碍物检测。检测道路上意外的微小但有潜在危险的障碍物是自主驾驶的一项重要任务，这一课题一直是研究热点。一般来说，这些检测和定位一般障碍物的方法是基于自动驾驶汽车上集成的立体摄像机。

四、Model

五、Experiments

Experiment 1

消融实验

Single RGB方法仅利用RFNet的RGB分支。与SwiftNet相比，唯一的区别是在ResNet-18的每个块之后的SE块。

RGB-D-Stack方法将Depth与RGB进行叠加，以形成RFNet单个分支的4通道输入。该方法的低精度(mIoU为65.20%)证明了深度信息没有被有效地利用。

RGB-D-Fusion(concatenation)与RGB-D-Fusion(element-wise add)的区别是RGB feature map和Depth feature map被拼接到更高维度的feature map，并在1×1卷积后恢复到原始维度。该方法的性能(68.67%)差于RFNet (72.22%)。这是因为在像RFNet这样的紧凑网络中，级联是一种利用深度信息的更低效的方式。

RGB-RGB-Fusion方法与RFNet的区别在于，输入是重复的RGB图像，而不是RGB-D图像，并且在每个AFC模块之后，element-wise add的feature map被除以2。精度(69.37%)比RENet低，与Single RGB方法大致相同，证明了其优点—不仅仅是因为增加了参数。

探索提出的多数据集训练策略的影响。在没有多数据集训练策略的情况下，由于两个数据集的类冲突，RFNet的IoU降低了近20%。所提出的基于多数据集训练策略的RFNet达到72.22%的mIoU，明显优于基线(Single RGB)和其他基于融合的变体，证明设计的注意力互补模块融合方案的有效性。