【论文阅读】【三维目标检测】Stereo R-CNN based 3D Object Detection for Autonomous Driving_stereo matching and stereo 3d object detection too-优快云博客

本文链接：https://blog.youkuaiyun.com/wqwqqwqw1231/article/details/100736756

本文介绍了Stereo R-CNN在自动驾驶3D目标检测中的创新方法，利用立体相机进行检测。Stereo RPN通过结合左右图像生成提案，接着通过RoI Align Pooling和多任务预测头确定物体类别、3D边界框、尺寸和视角。3D Box Estimation和Dense 3D Box Alignment进一步优化深度信息，提高检测精度。实验表明Stereo RPN、关键点检测和密集对齐的有效性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Stereo R-CNN based 3D Object Detection for Autonomous Driving
使用stereo camera 完成 3D Object Detection

Stereo R-CNN

该方法主要使用几何学的的约束来进行检测，不同于传统的two stage的方法。整个网络结构如下：
在这里插入图片描述

Stereo RPN

Stereo RPN目的是为了提取左右两幅图的proposal。其target的处理方式为：将左右两幅图的同一个物体的box取并集，形成一个新的box，用这个box与anchor的IoU来对anchor的label进行分类；对于是前景的anchor，计算要回归的label，由于是预测两幅图中的box，所以要回归的值为两幅图中anchor与真值的横坐标的位置偏差和尺度偏差，和两幅图共用的纵坐标的位置偏差和尺度偏差，纵坐标之所以能共用，是因为安装在车上的双目相机的基线是水平的，所以纵坐标的位置偏差和尺度偏差应该是一样的。
然后分别对左右图进行NMS，左右两幅图都会保留一些proposal，然后选取左右两幅图都保留的proposal的那些进行训练。