【论文阅读】【三维目标检测】Pseudo-LiDAR from Visual Depth Estimation

最新推荐文章于 2025-09-15 11:22:27 发布
原创 最新推荐文章于 2025-09-15 11:22:27 发布 · 2.4k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

2019年CVPR论文探讨了使用图像进行三维目标检测效果不佳的原因，指出问题在于前视图表示而非深度信息准确性。论文提出通过Depth Map恢复Pseudo LiDAR，结合图像和点云信息提升检测效果。实验表明，这种方法在某些场景下优于仅使用图像的检测方法，但仍不及激光雷达的精确度。

文章目录

2019CVPR

本文提出了一个重要观点：使用图像做三维目标检测，其效果差不是因为使用图像得到的深度信息不准确，而是因为使用前视图这种表示方式的问题。

由于本文并未提出什么新的网络，所以这篇paper的解读与其他的结构不太一样。

检测结构

在这里插入图片描述
上图为本文提出的检测结构，整体分为两步走，第一步通过计算Depth Map，恢复出Pseudo LiDAR，第二部使用融合图像和点云的方法检测三维物体。

Depth Map -> Pseudo LiDAR：
在这里插入图片描述
说白了就是将深度图(u, v, d)的表示方式转为点云的表示方式(x, y, z)。

然后就是对Pseudo LiDAR的处理，就是丢掉一些超出一定x，y，z边界的点，例如高于激光雷达1m的点丢弃掉等。

对使用Pseudo LiDAR有效性的解释

这块内容主要是在Data representation matters这一节中讲的，其实我对这一节的解释很不认可。

首先先说一下文中的解释：
文中首先提到了convolution有两个假设：

  • local neighborhoods in the image have meaning, and the network should look at local patches
  • all neighborhoods can be operated upon in an identi
最低0.47元/天 解锁文章
pseudo-LiDAR_e2e:伪LiDAR_e2e
04-14
用于基于图像的3D对象检测的端到端伪LiDAR 该论文已被《计算机视觉与模式识别2020》所接受。 作者： ， ， ， ， ， ， ， 和 引文 @inproceedings{qian2020end, title={End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection}, author={Qian, Rui and Garg, Divyansh and Wang, Yan and You, Yurong and Belongie, Serge and Hariharan, Bharath and Campbell, Mark and Weinberger, Kilian Q and Chao, Wei-Lun}, booktitle={Proceedings of the IEEE/CVF Conf
Pseudo-LiDAR 利用双目进行3D目标检测
weixin_41965898的博客
08-27 3742
Pseudo-LiDAR 简介 来自康奈尔大学的"Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving". 主要探讨了为什么Image-based 3D Perception与LiDAR-based 3D Perception之间存在较大的gap，并且提出了bridge this gap的解决方案。 首先利用DRON或PSMNET从单目 (Mo.
Pseudo-LiDAR from Visual Depth Estimation 论文笔记
Tianchao龙虾
04-10 803
Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving 论文链接： https://arxiv.org/abs/1812.07179 Problem Statement 基于雷达的3D目标检测可以较为精准但是依赖昂贵的雷达设备，而基于单目或者双目摄像头的3D目标检测精度低。作者认为是深度估计表示的问题，而不是深度估计的数据和雷达数据有很大差异的问题。 D
论文阅读：Pseudo-LiDAR from Visual Depth Estimation
baidu_23388287的博客
08-10 594
摘要： 　　3D目标检测在自动驾驶领域是一个至关重要的任务。在高精度的检测技术中，提供的精确的3D数据是从昂贵的激光上得到的。目前基于便宜的单目或者双目图像得到的深度估计都是低精度的，主要是由于深度估计方法的缺少。在本文中，我们是从数据的表现性而不是从数据质量上来讨论。考虑使用内部工作的卷积神经网络，我们提出了基于图像的深度图转换为伪激光雷达表示－本质上模仿激光雷达信号。通过这种表示我们可以应用不同的现有的基于lidar的检测算法。在流行的kitti数据集基准测试中，本文的方法在现有的基于图像的state
单目相机也能精准 3D 检测？伪激光雷达（Pseudo-LiDAR）这样解决深度难题
最新发布
weixin_45131592的博客
09-15 459
单目相机的 3D 检测难题，本质是 “缺深度”；单目图像里有 2D 检测框（知道车在图像里的位置），3D 检测框投影到 2D 后，必须和这个 2D 框对齐 —— 如果 3D 框的投影偏了，就扣分。对行业来说，这不仅是技术突破，更是让自动驾驶感知 “平民化” 的一步 —— 未来，可能更多低成本机器人和自动驾驶小车，都会靠这种 “虚拟深度眼”，安全地感知周围的 3D 世界。，专门解决 “拖尾” 和 “错位” 问题，原理很直观：用语义分割的 “准边界”，去修正深度图的 “模糊边界”，再删掉多余的拖尾点。
Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Dr
weixin_45614254的博客
10-27 1088
Pseudo-LiDAR from Visual Depth Estimation Bridging the Gap in 3D Object Detection for Autonomous Driving 用激光雷达(红色)和伪激光雷达(绿色)获得的叠加了边界框的汽车。左下角：估计的视差图。右：伪激光雷达(蓝色)vs激光雷达(黄色)。 观点论述 使用图像做三维目标检测，其效果差不是因为使用图像得到的深度信息不准确，而是因为使用前视图这种表示方式的问题。以往认为基于图像的3D检测精确性更低是因为深度估计
Pseudo-LiDAR from Visual Depth Estimation:
哟哟哟哟哟哟
06-15 606
今天想分享的是CVPR2019的一项来自美国康奈尔大学的研究。他们提出了一种新的方法，称为虚拟激光雷达。能够缩小自动驾驶领域基于激光雷达和基于摄像头的3D目标检测方法之间的差距。使得摄像机代替激光雷达成为了可能。虚拟激光雷达也是现在美国自动驾驶公司特斯拉的主要推崇的技术。 首先来看什么是3D目标检测。目标检测是为了定位和分类物体。 3D目标检测输出物体类别及在三维空间中的长宽高、旋转角等信息 可靠和鲁棒的三维目标检测是自动驾驶的基本要求之一。毕竟，为了避免与行人，汽车相撞，车辆首先必须能够检.
Pseudo-LiDAR from Visual Depth Estimation
weixin_41134246的博客
08-13 505
Pseudo-LiDAR from Visual Depth Estimation:Bridging the Gap in 3D Object Detection for Autonomous Driving 作者：Yan Wang, Wei-Lun Chao, Divyansh Garg, Bharath Hariharan, Mark Campbell, and Kilian Q. Weinberger 机构：Cornell University, Ithaca, NY 出处：CVPR 2019 主
【3D目标检测】Pseudo-LiDAR from Visual Depth Estimation
可乐大牛的博客
11-09 1368
本文是基于图像的3D目标检测算法，以往基于图像的方法在精度上始终远远低于基于点云的方法，其中的原因一般被认为是基于图像的深度估计效果不好，而作者认为是数据表示的问题，作者将预测到的深度图转换成了伪点云，然后应用基于点云的算法，得到了远超普通基于图像方法的效果。（当时30m范围内，基于图像方法的SOTA是22%的准确率，本文达到了74%）以往基于图像的方法，最主要的工作就是模态融合，辅助基于点云的方法得到更好的效果 害！
Pseudo-LiDAR
auto driving
08-03 211
Pseudo-LiDAR 利用双目进行3D目标检测_lucky li的博客-优快云博客_双目3d目标检测
Pseduo LiDAR（CVPR2019）
qihshe的博客
04-05 898
三维目标检测是自动驾驶中的一项重要任务。如果3D输入数据是从精确但昂贵的激光雷达技术获得的，那么最新的技术具有高精度的检测率。到目前为止，基于更便宜的单眼或立体图像数据的方法导致精度大大降低——这一差距通常归因于基于图像的深度估计不佳。然而，在本文中，我们认为这不是数据的质量，而是它的表示，占大部分的差异。考虑到卷积神经网络的内部工作原理，我们建议将基于图像的深度图转换为伪激光雷达表示-本质上模仿激光雷达信号。利用这种表示，我们可以应用不同的现有的基于激光雷达的检测算法。
BEV和Pseudo-Lidar
qq_44902479的博客
06-11 1629
单目3d目标检测中的鸟瞰图生成和伪雷达问题
视觉深度估计的Pseudo-LiDAR：弥合自动驾驶3D对象检测中的差距（CVPR2019）
05-16 3219
摘要 3D对象检测是自动驾驶中的一项基本任务。只要从精确但昂贵的LiDAR技术中获得3D输入数据，最新技术就可以以高度准确的检测率获得优势。迄今为止，基于廉价的单目或立体图像数据的方法导致精度大大降低，而这种差距通常归因于基于图像的深度估计不佳。但是，在本文中，我们认为，造成差异最大的不是数据质量，而是其表示形式。考虑到卷积神经网络的内部工作，我们建议将基于图像的深度图转换为伪LiDAR表示-本...
Pseudo-LiDAR: 开源三维物体检测项目
gitblog_00186的博客
12-28 901
Pseudo-LiDAR 是一个开源项目，旨在通过将基于图像的深度图转换为伪激光雷达表示形式，从而提高自动驾驶中的三维物体检测性能。该项目主要使用 Python 编程语言。 ## 项目基础介绍 Pseudo-LiDAR 项目通过模仿激光雷达信号，将图像深度图转换为伪激光雷达点云，使得原本基于图像的物体检测算法能够达到接近激光雷达的精度。这种方法在 KITTI 三维物体检测基准测试中表现出了显著...
论文阅读笔记：(2021.08, iccv) Is Pseudo-Lidar needed for Monocular 3D Object detection?
chaoqinyou的博客
01-29 2536
DD3D发表在了iccv 2021上，是目前（2022.01）性能最好的单目3D目标检测模型之一，值得一看。 论文：ICCV 2021 Open Access Repositoryhttps://openaccess.thecvf.com/content/ICCV2021/html/Park_Is_Pseudo-Lidar_Needed_for_Monocular_3D_Object_Detection_ICCV_2021_paper.html 代码：https://github.com/TRI-ML/
【3D目标检测】Is Pseudo-Lidar needed for Monocular 3D Object detection?
可乐大牛的博客
03-12 1193
如何引入获得空间信息如何增强深度估计效果密集深度估计子网络大规模数据集下的深度估计预训练。
探索Pseudo LiDAR：一种新型3D感知技术的实现
gitblog_00061的博客
04-10 365
本文将向您介绍一个名为"Pseudo LiDAR"的开源项目，它利用深度学习技术将2D图像转化为类似LiDAR（光检测和测距）系统的3D点云数据。通过访问，您可以深入了解其代码和应用。 ## 项目简介 Pseudo LiDAR项目由Mileyan开发并维护，旨在为没有LiDAR硬件设备的自动驾驶系统提供一种成本效益高的解决方案。它利用车辆上的摄像头捕捉到的2D图像，经过算法处理，生成近似于真实...
Pseudo LiDAR：将单目相机转换为伪激光雷达
gitblog_01095的博客
08-21 772
**Pseudo LiDAR** 是一个开源项目，由 [mileyan](https://github.com/mileyan) 创建并维护。它旨在利用深度学习技术将单目摄像头图像转换为类似于LiDAR点云的数据，从而在没有实际激光雷达设备的情况下，为自动驾驶车辆和其他机器人系统提供三维感知能力。通过这种方法，项目降低了三维环境感知的成本和技术门槛，使得更多的开发者和研究者能够涉足三维视觉和自动驾...
【paper reading】Is Pseudo-Lidar needed for Monocular 3D Object detection?
weixin_43543177的博客
03-11 4118
Dense Depth-pre-trained 3D Detector1 摘要2 相关工作3 方法ArchitecturePre-Training4 Analysis4.1 Is depth-pretraining effective? 1 摘要 从单幅图像中检测三维目标的最新进展大多利用单目深度估计(Monocular depth estimation)来生成三维点云，将相机变成伪激光雷达传感器。由于中间深度估计网络本身可以通过大规模自监督学习在无需手动标记的情况下进行改进，两级检测器的精度可以从深度估
Pseudo-LiDAR论文
03-20
### 关于 Pseudo-LiDAR 的研究概述 Pseudo-LiDAR 是一种基于图像的 3D 物体检测方法，其核心思想是利用单目或多目相机获取的二维图像信息重建三维空间中的点云数据[^1]。这种方法通过模拟 LiDAR 数据的方式，在不依赖昂贵硬件设备的情况下实现了高效的 3D 场景理解。 #### End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection 一篇重要的 Pseudo-LiDAR 相关论文《End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection》提出了端到端框架，该框架能够直接从 RGB 图像生成高质量的伪 LiDAR 点云，并用于后续的 3D 对象检测任务。此方法的关键在于融合采样策略 (fusion sampling strategy)，它能够在降采样的过程中保留更具代表性的点，从而使低密度点上的目标检测成为可能[^2]。 以下是这篇论文的具体下载方式以及相关内容： - **论文标题**: End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection - **PDF 下载链接**: [点击访问](https://arxiv.org/pdf/2002.10187.pdf) - **代码仓库**: 如果希望进一步了解其实现细节，可以参考官方开源项目：[GitHub 链接](https://github.com/dvlab-research/3DSSD) 此外，《Scribble-Supervised LiDAR Semantic Segmentation》虽然并非直接讨论 Pseudo-LiDAR 技术，但它提供了一种创新的数据增强机制和弱监督学习方案，这些技术同样适用于提升 Pseudo-LiDAR 方法的效果[^3]。具体来说，通过引入涂鸦标注 (scribble annotation) 和均值教师模型 (mean teacher framework)，可以在减少人工标注成本的同时保持较高的分割精度。 --- ### 实现示例：加载并解析 Pseudo-LiDAR 数据 以下是一个简单的 Python 脚本片段，展示如何加载预处理后的 Pseudo-LiDAR 数据文件（假设为 `.npy` 格式存储）并可视化点云分布情况。 ```python import numpy as np from matplotlib import pyplot as plt from mpl_toolkits.mplot3d import Axes3D def load_pseudo_lidar_data(file_path): """ 加载保存为 .npy 文件格式的伪LiDAR点云 """ point_cloud = np.load(file_path) return point_cloud def visualize_point_cloud(point_cloud): """ 使用 Matplotlib 绘制点云图 """ fig = plt.figure() ax = fig.add_subplot(111, projection='3d') xs, ys, zs = zip(*point_cloud[:, :3]) # 假设前三个维度表示坐标(x,y,z) ax.scatter(xs, ys, zs, c=zs, cmap="plasma", s=1) ax.set_xlabel('X Label') ax.set_ylabel('Y Label') ax.set_zlabel('Z Label') plt.show() if __name__ == "__main__": file_name = "./pseudo_lidar_output.npy" pseudo_lidar_points = load_pseudo_lidar_data(file_name) visualize_point_cloud(pseudo_lidar_points) ``` 上述脚本展示了基本的操作流程，实际应用中可根据需求调整参数设置或扩展功能模块。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值