【论文阅读】【三维目标检测】Pseudo-LiDAR from Visual Depth Estimation

最新推荐文章于 2025-04-05 21:05:06 发布
最新推荐文章于 2025-04-05 21:05:06 发布
阅读量2.3k 收藏 9
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wqwqqwqw1231/article/details/103300948
2019年CVPR论文探讨了使用图像进行三维目标检测效果不佳的原因，指出问题在于前视图表示而非深度信息准确性。论文提出通过Depth Map恢复Pseudo LiDAR，结合图像和点云信息提升检测效果。实验表明，这种方法在某些场景下优于仅使用图像的检测方法，但仍不及激光雷达的精确度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

2019CVPR

本文提出了一个重要观点：使用图像做三维目标检测，其效果差不是因为使用图像得到的深度信息不准确，而是因为使用前视图这种表示方式的问题。

由于本文并未提出什么新的网络，所以这篇paper的解读与其他的结构不太一样。

检测结构

在这里插入图片描述
上图为本文提出的检测结构，整体分为两步走，第一步通过计算Depth Map，恢复出Pseudo LiDAR，第二部使用融合图像和点云的方法检测三维物体。

Depth Map -> Pseudo LiDAR：
在这里插入图片描述
说白了就是将深度图(u, v, d)的表示方式转为点云的表示方式(x, y, z)。

然后就是对Pseudo LiDAR的处理，就是丢掉一些超出一定x，y，z边界的点，例如高于激光雷达1m的点丢弃掉等。

对使用Pseudo LiDAR有效性的解释

这块内容主要是在Data representation matters这一节中讲的，其实我对这一节的解释很不认可。

首先先说一下文中的解释：
文中首先提到了convolution有两个假设：

  • local neighborhoods in t
最低0.47元/天 解锁文章
Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Dr
weixin_45614254的博客
10-27 1042
Pseudo-LiDAR from Visual Depth Estimation Bridging the Gap in 3D Object Detection for Autonomous Driving 用激光雷达(红色)和伪激光雷达(绿色)获得的叠加了边界框的汽车。左下角：估计的视差图。右：伪激光雷达(蓝色)vs激光雷达(黄色)。 观点论述 使用图像做三维目标检测，其效果差不是因为使用图像得到的深度信息不准确，而是因为使用前视图这种表示方式的问题。以往认为基于图像的3D检测精确性更低是因为深度估计
基于深度学习的3D目标检测综述-Deep Learning-Based 3D Detection: A Review
dsoftware的博客
08-22 6439
引言 传统的2D目标检测，是得到目标物体的类别，以及图像平面内的包围盒，因此包含的参数为类别c，包围盒的中心(x,y)，长宽(length, width)。 而3D检测的任务是得到目标物体的类别(Classification)以及带朝向的3D包围盒(Oriented 3D Bounding Boxes)，因此，其包含类别c，位置(x, y, z)，size(length, widith, heig...
论文阅读：Pseudo-LiDAR from Visual Depth Estimation
baidu_23388287的博客
08-10 547
摘要： 　　3D目标检测在自动驾驶领域是一个至关重要的任务。在高精度的检测技术中，提供的精确的3D数据是从昂贵的激光上得到的。目前基于便宜的单目或者双目图像得到的深度估计都是低精度的，主要是由于深度估计方法的缺少。在本文中，我们是从数据的表现性而不是从数据质量上来讨论。考虑使用内部工作的卷积神经网络，我们提出了基于图像的深度图转换为伪激光雷达表示－本质上模仿激光雷达信号。通过这种表示我们可以应用不同的现有的基于lidar的检测算法。在流行的kitti数据集基准测试中，本文的方法在现有的基于图像的state
Pseduo LiDAR（CVPR2019）
最新发布
qihshe的博客
04-05 848
三维目标检测是自动驾驶中的一项重要任务。如果3D输入数据是从精确但昂贵的激光雷达技术获得的，那么最新的技术具有高精度的检测率。到目前为止，基于更便宜的单眼或立体图像数据的方法导致精度大大降低——这一差距通常归因于基于图像的深度估计不佳。然而，在本文中，我们认为这不是数据的质量，而是它的表示，占大部分的差异。考虑到卷积神经网络的内部工作原理，我们建议将基于图像的深度图转换为伪激光雷达表示-本质上模仿激光雷达信号。利用这种表示，我们可以应用不同的现有的基于激光雷达的检测算法。
Pseudo-LiDAR from Visual Depth Estimation 论文笔记
Tianchao龙虾
04-10 748
Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving 论文链接： https://arxiv.org/abs/1812.07179 Problem Statement 基于雷达的3D目标检测可以较为精准但是依赖昂贵的雷达设备，而基于单目或者双目摄像头的3D目标检测精度低。作者认为是深度估计表示的问题，而不是深度估计的数据和雷达数据有很大差异的问题。 D
Pseudo-LiDAR from Visual Depth Estimation:
哟哟哟哟哟哟
06-15 575
今天想分享的是CVPR2019的一项来自美国康奈尔大学的研究。他们提出了一种新的方法，称为虚拟激光雷达。能够缩小自动驾驶领域基于激光雷达和基于摄像头的3D目标检测方法之间的差距。使得摄像机代替激光雷达成为了可能。虚拟激光雷达也是现在美国自动驾驶公司特斯拉的主要推崇的技术。 首先来看什么是3D目标检测。目标检测是为了定位和分类物体。 3D目标检测输出物体类别及在三维空间中的长宽高、旋转角等信息 可靠和鲁棒的三维目标检测是自动驾驶的基本要求之一。毕竟，为了避免与行人，汽车相撞，车辆首先必须能够检.
Pseudo-LiDAR from Visual Depth Estimation
weixin_41134246的博客
08-13 480
Pseudo-LiDAR from Visual Depth Estimation:Bridging the Gap in 3D Object Detection for Autonomous Driving 作者：Yan Wang, Wei-Lun Chao, Divyansh Garg, Bharath Hariharan, Mark Campbell, and Kilian Q. Weinberger 机构：Cornell University, Ithaca, NY 出处：CVPR 2019 主
视觉深度估计生成的伪LiDAR：自动驾驶3D物体检测的桥梁
“Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving” 这篇论文主要探讨了如何利用视觉深度估计技术来生成伪-LiDAR（Pseudo-LiDAR）数据，从而提高...
CVPR 2019 论文大盘点—目标检测篇
OpenCV中文网
10-21 1628
感谢52CV群友“一块钱”盘点了CVPR 2019 所有有关目标检测的文章，并简单做了分类。总计 56 篇，绝大多数含开源代码，很多已经被大家所熟悉，比如KL-Loss、ScratchD...
【3D目标检测】Pseudo-LiDAR from Visual Depth Estimation
可乐大牛的博客
11-09 1244
本文是基于图像的3D目标检测算法，以往基于图像的方法在精度上始终远远低于基于点云的方法，其中的原因一般被认为是基于图像的深度估计效果不好，而作者认为是数据表示的问题，作者将预测到的深度图转换成了伪点云，然后应用基于点云的算法，得到了远超普通基于图像方法的效果。（当时30m范围内，基于图像方法的SOTA是22%的准确率，本文达到了74%）以往基于图像的方法，最主要的工作就是模态融合，辅助基于点云的方法得到更好的效果 害！
Pseudo-LiDAR
auto driving
08-03 199
Pseudo-LiDAR 利用双目进行3D目标检测_lucky li的博客-优快云博客_双目3d目标检测
pseudo-LiDAR_e2e:伪LiDAR_e2e
04-14
用于基于图像的3D对象检测的端到端伪LiDAR 该论文已被《计算机视觉与模式识别2020》所接受。 作者： ， ， ， ， ， ， ， 和 引文 @inproceedings{qian2020end, title={End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection}, author={Qian, Rui and Garg, Divyansh and Wang, Yan and You, Yurong and Belongie, Serge and Hariharan, Bharath and Campbell, Mark and Weinberger, Kilian Q and Chao, Wei-Lun}, booktitle={Proceedings of the IEEE/CVF Conf
Pseudo-LiDAR 利用双目进行3D目标检测
weixin_41965898的博客
08-27 3568
Pseudo-LiDAR 简介 来自康奈尔大学的"Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving". 主要探讨了为什么Image-based 3D Perception与LiDAR-based 3D Perception之间存在较大的gap，并且提出了bridge this gap的解决方案。 首先利用DRON或PSMNET从单目 (Mo.
BEV和Pseudo-Lidar
qq_44902479的博客
06-11 1481
单目3d目标检测中的鸟瞰图生成和伪雷达问题
视觉深度估计的Pseudo-LiDAR：弥合自动驾驶3D对象检测中的差距（CVPR2019）
05-16 3165
摘要 3D对象检测是自动驾驶中的一项基本任务。只要从精确但昂贵的LiDAR技术中获得3D输入数据，最新技术就可以以高度准确的检测率获得优势。迄今为止，基于廉价的单目或立体图像数据的方法导致精度大大降低，而这种差距通常归因于基于图像的深度估计不佳。但是，在本文中，我们认为，造成差异最大的不是数据质量，而是其表示形式。考虑到卷积神经网络的内部工作，我们建议将基于图像的深度图转换为伪LiDAR表示-本...
Pseudo-LiDAR: 开源三维物体检测项目
gitblog_00186的博客
12-28 861
Pseudo-LiDAR: 开源三维物体检测项目 pseudo_lidar (CVPR 2019) Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving ...
论文阅读笔记：(2021.08, iccv) Is Pseudo-Lidar needed for Monocular 3D Object detection?
chaoqinyou的博客
01-29 2504
DD3D发表在了iccv 2021上，是目前（2022.01）性能最好的单目3D目标检测模型之一，值得一看。 论文：ICCV 2021 Open Access Repositoryhttps://openaccess.thecvf.com/content/ICCV2021/html/Park_Is_Pseudo-Lidar_Needed_for_Monocular_3D_Object_Detection_ICCV_2021_paper.html 代码：https://github.com/TRI-ML/
【3D目标检测】Is Pseudo-Lidar needed for Monocular 3D Object detection?
可乐大牛的博客
03-12 1138
如何引入获得空间信息如何增强深度估计效果密集深度估计子网络大规模数据集下的深度估计预训练。
探索Pseudo LiDAR：一种新型3D感知技术的实现
gitblog_00061的博客
04-10 343
探索Pseudo LiDAR：一种新型3D感知技术的实现 pseudo_lidar(CVPR 2019) Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving项目地址:https://gitcode.com/gh_mirrors/ps/ps...
Pseudo-LiDAR论文
03-20
### 关于 Pseudo-LiDAR 的研究概述 Pseudo-LiDAR 是一种基于图像的 3D 物体检测方法，其核心思想是利用单目或多目相机获取的二维图像信息重建三维空间中的点云数据[^1]。这种方法通过模拟 LiDAR 数据的方式，在不依赖昂贵硬件设备的情况下实现了高效的 3D 场景理解。 #### End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection 一篇重要的 Pseudo-LiDAR 相关论文《End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection》提出了端到端框架，该框架能够直接从 RGB 图像生成高质量的伪 LiDAR 点云，并用于后续的 3D 对象检测任务。此方法的关键在于融合采样策略 (fusion sampling strategy)，它能够在降采样的过程中保留更具代表性的点，从而使低密度点上的目标检测成为可能[^2]。 以下是这篇论文的具体下载方式以及相关内容： - **论文标题**: End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection - **PDF 下载链接**: [点击访问](https://arxiv.org/pdf/2002.10187.pdf) - **代码仓库**: 如果希望进一步了解其实现细节，可以参考官方开源项目：[GitHub 链接](https://github.com/dvlab-research/3DSSD) 此外，《Scribble-Supervised LiDAR Semantic Segmentation》虽然并非直接讨论 Pseudo-LiDAR 技术，但它提供了一种创新的数据增强机制和弱监督学习方案，这些技术同样适用于提升 Pseudo-LiDAR 方法的效果[^3]。具体来说，通过引入涂鸦标注 (scribble annotation) 和均值教师模型 (mean teacher framework)，可以在减少人工标注成本的同时保持较高的分割精度。 --- ### 实现示例：加载并解析 Pseudo-LiDAR 数据 以下是一个简单的 Python 脚本片段，展示如何加载预处理后的 Pseudo-LiDAR 数据文件（假设为 `.npy` 格式存储）并可视化点云分布情况。 ```python import numpy as np from matplotlib import pyplot as plt from mpl_toolkits.mplot3d import Axes3D def load_pseudo_lidar_data(file_path): """ 加载保存为 .npy 文件格式的伪LiDAR点云 """ point_cloud = np.load(file_path) return point_cloud def visualize_point_cloud(point_cloud): """ 使用 Matplotlib 绘制点云图 """ fig = plt.figure() ax = fig.add_subplot(111, projection='3d') xs, ys, zs = zip(*point_cloud[:, :3]) # 假设前三个维度表示坐标(x,y,z) ax.scatter(xs, ys, zs, c=zs, cmap="plasma", s=1) ax.set_xlabel('X Label') ax.set_ylabel('Y Label') ax.set_zlabel('Z Label') plt.show() if __name__ == "__main__": file_name = "./pseudo_lidar_output.npy" pseudo_lidar_points = load_pseudo_lidar_data(file_name) visualize_point_cloud(pseudo_lidar_points) ``` 上述脚本展示了基本的操作流程，实际应用中可根据需求调整参数设置或扩展功能模块。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值