3D目标检测(单目)D4LCN论文复现(paddlepaddle)

该博客详细记录了使用PaddlePaddle复现D4LCN论文的过程,包括数据预处理、网络结构复现、精度对齐及模型训练、预测和评估。作者克服了深度图处理、二维卷积限制等问题,实现了在KITTI数据集上的单目3D目标检测。博客提供了从Pytorch到PaddlePaddle的模型转换及精度对齐的技巧,并分享了训练和预测的步骤,为后续研究者提供了参考。

D4LCN: Learning Depth-Guided Convolutions for Monocular 3D Object Detection (CVPR2020)
基于深度引导卷积的单目3D目标检测

1. 论文简介

(1)简介

单目3D目标检测最大的挑战在于没法得到精确的深度信息,传统的二维卷积算法不适合这项任务,因为它不能捕获局部目标及其尺度信息,而这对三维目标检测至关重要。为了更好地表示三维结构,现有技术通常将二维图像估计的深度图转换为伪激光雷达表示,然后应用现有3D点云的物体检测算法。因此他们的结果在很大程度上取决于估计深度图的精度,从而导致性能不佳。在本文中,作者通过提出一种新的称为深度引导的局部卷积网络(LCN),更改了二维全卷积Dynamic-Depthwise-Dilated LCN ,其中的filter及其感受野可以从基于图像的深度图中自动学习,使不同图像的不同像素具有不同的filter。D4LCN克服了传统二维卷积的局限性,缩小了图像表示与三维点云表示的差距。D4LCN相对于最先进的KITTI的相对改进是9.1%,单目3D检测的SOTA方法。

(2)网络主要结构

(3)论文地址

https://arxiv.org/pdf/1912.04799v1

(4)官方代码地址

https://github.com/dingmyu/D4LCN

2.复现心得

先回顾下之前百度论文复现营老师指导的复现流程

(1)整体流程

  • 数据集获取
  • 数据预处理
  • 构建前向网络
  • 构建反向传播
  • 精度对齐,小数据集训练两轮

(2)精度对齐

  • 去除随机性:对项目中dropout项,数据预处理中mirror的随机性置0
  • 数据对齐,输入数据:本项目数据预处理部分涉及深度图,需要对其进行预处理
  • 模型参数对齐
    Pytorch 和 Paddle 网络参数输出并手动对齐
    Pytorch参数转化为Paddle
    将保存的模型载入并设置Paddle模型初始化
  • loss对齐
  • 小规模实验

3.复现过程

(1)数据处理

(2)模型的复现

这一步是项目的核心,主要分成两个部分:

  • 前向传播

主要分为ResNet、ResNet、DeformConv2d、RPN这

单目3D目标检测领域面临的一个主要挑战是如何在缺乏直接深度信息的情况下,准确地估计物体的三维位置和大小。D4LCN算法(深度引导动态依赖扩张局部卷积网络)提出了一种独特的深度学习架构,通过深度信息来引导局部卷积网络(LCN)的卷积操作,从而显著提升了检测精度。 参考资源链接:[深度引导D4LCN单目3D目标检测的新突破](https://wenku.youkuaiyun.com/doc/5cct8z1rie) 首先,D4LCN利用深度图作为辅助输入,通过深度引导机制动态调整卷积核的大小和权重。这种机制使得网络能够根据每个像素点的深度信息自适应地学习适当的卷积操作,从而更好地捕捉3D场景中的局部结构特征。 其次,D4LCN采用了动态依赖扩张(Dynamic Dependency Expansion)策略,它通过构建一种特殊的图结构来模拟像素之间的深度依赖关系。在这个图结构中,相邻节点的深度信息会影响彼此的卷积操作,进而影响到整个网络的学习过程。这种策略使得网络能够在学习过程中更加关注于那些对于3D目标检测至关重要的深度依赖关系。 再次,LCN的局部卷积核设计允许网络专注于特定的局部区域,并根据该区域内的深度信息来调节卷积核的行为。这种局部卷积核的大小和形状可以动态地根据深度信息进行扩张或收缩,从而有效地融合深度信息与图像特征。 D4LCN在处理图像时,能够有效地提取和融合深度信息,这在提高3D目标检测精度的同时,也提高了处理速度。实验证明,在KITTI单目3D物体检测基准上,D4LCN算法在汽车类别检测中表现突出,其精度和效率的提升主要得益于深度信息的有效利用和深度引导机制。 如果你对D4LCN算法及其如何通过深度信息提高单目3D目标检测精度感兴趣,建议阅读《深度引导D4LCN单目3D目标检测的新突破》这份资料。它不仅详细解释了D4LCN算法的原理和关键技术,还提供了深入的实验分析和对比,帮助你全面理解并掌握这一前沿技术。 参考资源链接:[深度引导D4LCN单目3D目标检测的新突破](https://wenku.youkuaiyun.com/doc/5cct8z1rie)
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值