Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Dr

Pseudo-LiDAR 利用双目进行3D目标检测 Pseudo-LiDAR 简介 来自康奈尔大学的"Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving". 主要探讨了为什么Image-based 3D Perception与LiDAR-based 3D Perception之间存在较大的gap,并且提出了bridge this gap的解决方案。 首先利用DRON或PSMNET从单目 (Mo. 阅读详情

项目链接:https://mileyan.github.io/pseudo_lidar/

代码链接:https://github.com/mileyan/pseudo_lidar

摘要

       3D目标检测是一个重要的任务在自动驾驶领域。最近高精度检测率技术清单中,提供3D输入数据被提供从精确但是昂贵的LiDAR(激光雷达)技术。方法基于便宜的单目或者立体图像数据,直到现在,结果全部都是低精度-一个问题比较常见地导致是基于图像深度估计的缺少。然而,在这篇文章中,我们讨论的不是数据的质量而是数据的表现性。使用内部网络的卷积神经网络去考虑,我们提出了卷积基于图像深度图来伪造LiDAR表现-本质上是模仿LiDAR信号。使用这种表现我们能应用不同存在基于LiDAR检测算法。在感兴趣的KITTI标准数据集上,我们的方法完成提高了存在的先进方法在基于图像表现上--提高目标的检测精度在30m范围内,从先前先进的22%达到了史无前例74%。在提交我们的算法时候,保持了最高在KITTI3D目标检测排行榜对立体图像方法。我们的代码公开在:https://github.com/mileyan/pseudo_lidar_code。

                                                     

                       

将来工作

        有多个可以研究的方向沿着我们的结果,能够提高在将来的工作:首先,高分辨率立体图能够明显提高远距目标的精度。我们的结果获得0.4百万像素-一个天壤之别的先进的相机技术。第二,在这篇文章中,我们没有集中在实时图像处理和分类对所有目标在一张图花费1秒。然而,它不可能提高这些速度达到几个数量级。最近提高在实时多分辨率深度评估展示,一个有效的方法去加速深度评估,第一计算一个深度图在低分辨率,然后合并高分辨率来改进原先的结果。这个转换从一个深度图到伪-LiDAR是快和它应该可能彻底地加速检测。例如,模型精炼或者任意时候预测。最后,它是可能的在将来工作,能够提高先进的在3D目标检测通过传感器融合LiDAR和伪-LiDAR。伪-LiDAR有优势在它的信号是比较稠密的比LiDAR,以及两个数据形态能够有完全的增强。

更多《计算机视觉与图形学》知识,可关注下方公众号:
在这里插入图片描述

论文阅读:《Rethinking Pseudo-LiDAR Representation》   该论文是商汤2020年发表在ECCV上的一篇论文。2018年的CVPR论文《Pseudo-LiDAR From Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving》使用视觉伪点云来进行单目3D目标检测,获得了大幅性能提升,并将性能提升归因为数据表达形式。商汤在该论文中提出了不一样的观点。 阅读详情

相关推荐

深度可分离卷积(DepthwiseSeparableConvolution):Depthwise卷积与Pointwise卷积

深度可分离卷积不用多说,在轻量级网络架构方面是一个绕不开的话题,只要接触深度学习多多少少会接触。深度可分离卷积即DepthwiseSeparableConvolution,该卷积将一个常规卷积过程划分成两个完成Depthwise卷积和Pointwise卷积,在保证输出一样时,计算量大大降低。首先来看,一个常规卷积是怎么实现的。其示意图如果我们从通道数变换的角度来看,卷积就是将3通道的tensor变为了4通道的tensor,我们来看看深度可分离卷积是怎么实现通道的变化的。...

xu.hyj 1万+

Pseudo-LiDAR from Visual Depth Estimation

Pseudo-LiDAR from Visual Depth Estimation:Bridging the Gap in 3D Object Detection for Autonomous Driving 作者:Yan Wang, Wei-Lun Chao, Divyansh Garg, Bharath Hariharan, Mark Campbell, and Kilian Q. Weinberger 机构:Cornell University, Ithaca, NY 出处:CVPR 2019 主

weixin_41134246的博客 560

ASM磁盘通过rebalance迁移

一、实施要点: 1、数据迁移前,如果库不大,最好全库备份一次 2、进行数据平衡时,数据磁盘是添加到现有磁盘组,而不是重新建一个磁盘组 3、本次实施过程,服务器只有1张HBA卡,本次实施先取消原有的多路径,只保留旧有存储单路径,另一个FC口插上新存储的路径。待迁移完成后,再配置新存储的多路径 二、实施步骤 1.查询并配置ASM磁盘 [root@rac1 ~]# /sbin/scsi_id...

qq_40673916的博客 1374

每天一篇论文 373/1000 PSEUDO-LIDAR++:ACCURATE DEPTH FOR 3D OBJECT DETECTION IN AUTONOMOUS DRIVING

PSEUDO-LIDAR++:ACCURATE DEPTH FOR 3D OBJECT DETECTION IN AUTONOMOUS DRIVING 本文了一种新的图形传(GCD)播算法,它集成了两种数据模式,并使用两个稀疏矩阵求解器来传播稀疏但精确的深度估计。得到的系统是准激光雷达++ (SDN + GDC),其性能几乎与64波束激光雷达系统相当,价格为7.5万美元,但只需要4波束和两个商用摄像机,总成本不到1000美元。 摘要 汽车、行人等物体的三维检测在自动驾驶中起着不可或缺的作用。现有的方法主

流浪机器人的博客 2439

全面讲解电子齿轮比与脉冲数计算

什么是编码器分辨率。

viixin的博客 1万+

Python爬取京东商品数据保姆级教程(附源码及效果图)

本文介绍了一个基于Python的京东商品数据爬取教程,适合入门级开发者使用。文章详细讲解了从安装依赖库(DrissionPage、pandas等)到完成数据爬取的全过程,包括:1. 模拟用户搜索操作;2. 解析商品标题、价格、销量等关键信息;3. 处理复杂数据格式(如转换万级销量);4. 数据存储与Excel导出。教程提供了完整的封装函数,支持自定义搜索关键词和爬取数量,并包含错误处理和多种元素定位方式。最终数据会按时间戳命名导出为Excel文件,方便用于课程作业或毕业设计。

weixin_46449236的博客 1877

Pseudo-LiDAR from Visual Depth Estimation 论文笔记

Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving 论文链接: https://arxiv.org/abs/1812.07179 Problem Statement 基于雷达的3D目标检测可以较为精准但是依赖昂贵的雷达设备,而基于单目或者双目摄像头的3D目标检测精度低。作者认为是深度估计表示的问题,而不是深度估计的数据和雷达数据有很大差异的问题。 D

Tianchao龙虾 862

k8s RoCE 部署: k8s-rdma-shared-dev-plugin + macvlan cni

写给自己的入门篇 文章目录前言一、创建 k8s 集群二、启用 primary network三、启用 secondary networkk8s-rdma-shared-dev-pluginMultus CNISecondary CNIMulti-Network CRD四、启用 pod五、在 pod 中启动 RoCE 流量总结 前言 写给自己的扫盲篇。后续会在原理方面持续更新 一、创建 k8s 集群 k8s 集群的创建有多种方法,可以按照官方文档的说明来.

sunshuying1010的博客 9791

论文阅读:《Bridging the Gap in 3D Object Detection for Autonomous Driving》

  该论文是康奈尔大学2018年在CVPR发表的一篇论文,时间虽然有点久远,但算得上单目3D检测中“视觉伪点云流派”的开山鼻祖了,是篇值得一读的经典论文。 论文链接: https://arxiv.org/abs/1812.07179 论文源码: https://github.com/mileya

Sual 5936

嵌入式面经篇八——进程&线程

记录一些招聘公司在招聘嵌入式软件岗位时的一些问题,此文为第八篇。进程上文:是指进程由用户态切换到内核态时需要保存用户态时CPU寄存器中的值,进程状态以及堆栈上的内容。即保存当前进程的状态,以便再次执行该进程时,能够恢复切换时的状态,继续执行。进程下文:是指切换到内核态后执行的程序,即进程运行在内核空间的部分。中断上文:硬件通过中断触发信号,导致内核调用中断处理程序,进入内核空间。这个过程中,硬件的一些变量和参数也要传递给内核,内核通过这些参数进行中断处理。

明天你好的博客 1854

cartographer ceres后端优化

这里引用一篇文章作用一:用户可以选择使用Problem::AddParameterBlock显式添加参数块;在显式添加的时候ceres会内部进行额外的正确性检查。当Problem::AddParameterBlock()不存在时,Problem::AddResidualBlock()会隐式添加参数块,因此不需要显式调用Problem::AddParameterBlock()函数。ps:类似构造函数,显式构造函数。

南北粉面馆 804

3D目标检测之图像深度转为伪雷达信号:Pseudo-LiDAR from Visual Depth Estimation --by leona...

题目:Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving(自动驾驶) 作者:Yan Wang, Wei-Lun Chao, Divyansh Garg, Bharath Hariharan, Mark Campbell, Kil...

weixin_30426065的博客 1220

深入RKNN Toolkit2:自定义算子与内存优化秘籍

本文系统探讨了RKNNToolkit2在模型转换中的关键技术与优化策略。首先介绍了该工具包的基础功能及模型转换流程,重点阐述了自定义算子的实现方法,包括算子分析、代码编写和注册集成等步骤,并以ReduceLogSumExp算子为例进行案例分析。在内存优化方面,详细论述了模型量化、内存复用和参数配置等策略,通过具体案例展示优化效果。最后结合智能安防项目实践,分享了YOLOv5模型部署经验及问题解决方案。文章指出,随着AI技术发展,RKNNToolkit2将在算子支持、量化技术和硬件适配等方面持续优化,为边缘计

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 1391

【3D目标检测】Pseudo-LiDAR from Visual Depth Estimation

本文是基于图像的3D目标检测算法,以往基于图像的方法在精度上始终远远低于基于点云的方法,其中的原因一般被认为是基于图像的深度估计效果不好,而作者认为是数据表示的问题,作者将预测到的深度图转换成了伪点云,然后应用基于点云的算法,得到了远超普通基于图像方法的效果。(当时30m范围内,基于图像方法的SOTA是22%的准确率,本文达到了74%)以往基于图像的方法,最主要的工作就是模态融合,辅助基于点云的方法得到更好的效果 害!

可乐大牛的博客 1459

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

ECCV 2022 | LiDAR Distillation: 解决由激光雷达线数差异导致的三维目标检测域适应问题...

点击下方卡片,关注“CVer”公众号AI/CV重磅干货,第一时间送达作者:韦祎 |已授权转载(源:知乎)编辑:CVerhttps://zhuanlan.zhihu.com/p/558773187本文是对我们ECCV 2022被接收的文章LiDAR Distillation: Bridging the Beam-Induced Domain Gap for 3D Object Detectio...

阿木寺的博客 726

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

【论文阅读】【三维目标检测】Pseudo-LiDAR from Visual Depth Estimation

文章目录检测结构对使用Pseudo LiDAR有效性的解释实验 2019CVPR 本文提出了一个重要观点:使用图像做三维目标检测,其效果差不是因为使用图像得到的深度信息不准确,而是因为使用前视图这种表示方式的问题。 由于本文并未提出什么新的网络,所以这篇paper的解读与其他的结构不太一样。 检测结构 上图为本文提出的检测结构,整体分为两步走,第一步通过计算Depth Map,恢复出Pseudo...

麒麒哈尔的博客 2491

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Pseudo-LiDAR from Visual Depth Estimation:

今天想分享的是CVPR2019的一项来自美国康奈尔大学的研究。他们提出了一种新的方法,称为虚拟激光雷达。能够缩小自动驾驶领域基于激光雷达和基于摄像头的3D目标检测方法之间的差距。使得摄像机代替激光雷达成为了可能。虚拟激光雷达也是现在美国自动驾驶公司特斯拉的主要推崇的技术。 首先来看什么是3D目标检测。目标检测是为了定位和分类物体。 3D目标检测输出物体类别及在三维空间中的长宽高、旋转角等信息 可靠和鲁棒的三维目标检测是自动驾驶的基本要求之一。毕竟,为了避免与行人,汽车相撞,车辆首先必须能够检.

哟哟哟哟哟哟 664

马斯克刚骂了激光雷达,这篇用纯视觉代替激光雷达的名校论文「力挺」了他...

昨天,第 N 次在公开场合 diss 激光雷达的马斯克,再一次让自动驾驶圈对无人车不同的传感器应用方案展开了热议。实际上,如果站在马斯克的角度,我们其实不难理解他对激光雷...

湾区人工智能 1050

【论文速读】基于图像的伪激光雷达三维目标检测

点云PCL免费知识星球,点云论文速读。标题:End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection作者:Rui Qian,...

点云PCL 1643

【CVPR2019_论文汇总】(按方向划分,0401 更新中)

转载链接:http://bbs.cvmart.net/topics/302/cvpr2019paper 作为计算机视觉领域三大顶会之一,CVPR2019(2019.6.16-6.19在美国洛杉矶举办)被CVers 重点关注。目前CVPR 2019 接收结果已经出来啦,相关报道:1300篇!CVPR2019接收结果公布,你中了吗? 开设此帖希望可以实时跟进CVPR2019的即时信息及相关优秀论文,...

maweifei的博客 3万+

论文阅读:Pseudo-LiDAR from Visual Depth Estimation

摘要:   3D目标检测在自动驾驶领域是一个至关重要的任务。在高精度的检测技术中,提供的精确的3D数据是从昂贵的激光上得到的。目前基于便宜的单目或者双目图像得到的深度估计都是低精度的,主要是由于深度估计方法的缺少。在本文中,我们是从数据的表现性而不是从数据质量上来讨论。考虑使用内部工作的卷积神经网络,我们提出了基于图像的深度图转换为伪激光雷达表示-本质上模仿激光雷达信号。通过这种表示我们可以应用不同的现有的基于lidar的检测算法。在流行的kitti数据集基准测试中,本文的方法在现有的基于图像的state

baidu_23388287的博客 651

【今日CS 视觉论文速览】19 Dec 2018

今日CS.CV计算机视觉论文速览 Wed, 19 Dec 2018 Totally 45 papers Daily Computer Vision Papers [1] Title: Learning Direct Optimization for Scene Understanding Authors:Lukasz Romaszko, Christopher K.I. Williams,...

TomRen 1231

CVPR2019| CVPR论文接收列表!

欢迎关注微信公众号【计算机视觉联盟】获取更多前沿AI、CV资讯 统计CVPR2019论文(附链接、和代码),更新于8月11日(arXiv最新日期),持续更新中! 1294篇的CVPR2019论文PDF下载: 关注公众号【计算机视觉联盟】回复关键词【CVPR2019】即可获取下载链接! 【1】Learning Regularity in Skeleton Trajectories ...

中科院AI算法工程师的博客 1万+

Introduction to 3D Object Detection with Lidar

深度学习的开始 人类的大脑是一个神秘的器官,它由无数的神经细胞组成,神经细胞又有突触,轴突,树突等组成,至今我们还未对大脑如何工作研究的十分清楚。1943年,美国数学家沃尔特·皮茨(W.Pitts)和心理学家沃伦·麦克洛克(W.McCulloch)在发表论文《神经活动中内在思想的逻辑演算》中,提出了MP模型。MP模型是模仿神经元的结构和工作原理,构成出的一个基于神经网络的数学模型,本质上是一种“...

Leon_yixiao的博客 1013

LiDAR-Distillation 使用教程

LiDAR-Distillation 使用教程 项目介绍 LiDAR-Distillation 是一个用于解决由不同 LiDAR 光束引起的域间隙问题的 3D 目标检测项目。该项目通过蒸馏技术,使得在实际应用中,即使使用较少光束的 LiDAR 数据,也能有效地进行 3D 目标检测。该项目在 ECCV 2022 上发表,并已在 GitHub 上开源。 项目快速启动 环境配置 首先,确保你的系统安装了...

gitblog_00196的博客 897
上一篇: Dissecting Person Re-identification from the Viewpoint of Viewpoint
下一篇: ArcFace: Additive Angular Margin Loss for Deep Face Recognition
元宇宙MetaAI
博客等级 码龄10年 331粉丝 333原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值