本文提出DeformablePV-RCNN，一种改进的3D目标检测器，通过自适应形变模块和上下文融合机制增强目标特征提取能力，尤其在远距离目标检测上表现出优越性。
点击下方卡片，关注“自动驾驶之心”公众号
ADAS巨卷干货，即可获取
点击进入→自动驾驶之心技术交流群
后台回复【数据集下载】获取计算机视觉近30种数据集！
本文提出了
Deformable PV-RCNN，一种基于点云的高性能 3D 目标检测器。目前，最先进的两阶段检测器使用的proposal细化方法不能充分适应不同尺度的目标对象、不同的点云密度、部分变形和杂波。作者提出了一个受 2D 可变形卷积网络启发的proposal细化模块，该模块可以从存在信息内容的位置自适应地收集特定于实例的特征。作者还提出了一种简单的上下文门控机制，允许关键点为细化阶段选择相关的上下文信息。
1、简介
点云的 3D 目标检测对于自动驾驶和机器人技术至关重要。PV-RCNNs 成功的部分原因是随机采样的关键点捕获多尺度特征以进行proposal细化，同时保留细粒度的定位信息。
然而，随机抽样对潜在的模糊场景无效。例如，在点云中很难区分行人和交通杆。在这种情况下，作者希望将关键点对准最具辨别力的区域，以便可以突出显示行人的主要特征。同样，汽车、行人和骑自行车的人的比例也大不相同。虽然多尺度特征聚合有利于图像特征，但点云的非均匀密度使得使用单个模型很难检测到它们。
作者希望自适应地聚合并关注它们在不同尺度上最显著的特征。最后，为了处理混乱并避免误检，例如，为了避免将所有坐着的人检测为骑自行车的人，需要了解分布不均的上下文信息。
本文构建了 Deformable PV-RCNN，这是一种处理 LIDAR 点稀疏性的 3D 检测器，能够适应非均匀点云密度，尤其是在远距离处，并且可以解决现实世界交通场景中的杂波问题。作者表明，本文方法可以在不同类别上优于 PV-RCNN，尤其是在 KITTI 3D 目标检测数据集上的远距离目标。
2、本文方法
3D 检测的Pipeline如图 1 所示。它由Adaptive Deformation module（图 2）和Context Fusion module（图 3）组成。
2.1、Adaptive Deformation
n 个采样的关键点（在图1中以黄色显示）具有 3D 位置 和对应于 Conv3 或 Conv4 层的特征向量 。Adaptive Deformation模块计算更新的特征 如下：
其中 给出了点云中第 i 个关键点的邻居和 是一个学习的权重矩阵。然后获得新的deformed keypoint位置为:
其中 是一个学习的权重矩阵。然后，继续使用类似于 PV-RCNN 的 PointNet++ 计算deformed keypoint的特征。
2.2、Context Fusion
该模块使用上下文门控从local evidence中动态选择具有代表性和判别性的特征，突出目标特征并抑制clutter。给定一个关键点特征 ，调制特征为:
上下文门控特征计算为:
其中 、、 是从数据中学习的。
3、实验
3.1、SOTA对比
3.2、消融实验
3.3、远距离目标对比
4、参考
[1].Deformable PV-RCNN: Improving 3D Object Detection with Learned Deformations.
往期回顾
史上最全综述 | 3D目标检测算法汇总！（单目/双目/LiDAR/多模态/时序/半弱自监督）
【自动驾驶之心】全栈技术交流群
自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、多传感器融合、SLAM、光流估计、轨迹预测、高精地图、规划控制、AI模型部署落地等方向；
加入我们：自动驾驶之心技术交流群汇总！
自动驾驶之心【知识星球】
想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球（三天内无条件退款），日常分享论文+代码，这里汇聚行业和学术界大佬，前沿技术方向尽在掌握中，期待交流！
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
