【DETR3D】3D目标检测

BEV (3)---DETR3d ①. 利用Resnet101 + fpn提取6张环视图像特征,获得1/4, 1/8, 1/16, 1/32, 4个不同尺度的输出(②. 预设900个预测框(object_querys), 拆分object query为query和query_pos, 利用全连接处理query_pos获得BEV空间3D reference point (x, y, z)的预测结果。 阅读详情


✨✨ 欢迎大家来访Srlua的博文(づ ̄3 ̄)づ╭❤~✨✨

🌟🌟 欢迎各位亲爱的读者,感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢,在这里我会分享我的知识和经验。🎥

希望在这里,我们能一起探索IT世界的奥妙,提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏:传知代码论文复现

欢迎访问我的主页:Srlua小谢 获取更多信息和资源。✨✨🌙🌙

​​

​​

目录

概述

模型结构

特征学习

检测头

演示效果

核心逻辑

部署方式

参考文献


 本文所有资源均可在该地址处获取。

概述

  DETR3D介绍了一种多摄像头的三维目标检测的框架。与现有的直接从单目图像中估计3D边界框或者使用深度预测网络从2D信息中生成3D目标检测的输入相比,DETR3D直接在3D空间中进行预测。DETR3D从多个相机图像中提取2D特征,使用3D对象查询的稀疏集来索引这些2D特征。使用相机变换矩阵将3D位置链接到多视图图像。最后对每个目标单独进行边界框预测,使用集合到集合的损失来衡量真值和预测之间的差异。

模型结构

  DETR3D架构的输入是一组投影矩阵(内参和相对外参的组合)和已知的相机收集的RGB图像,为场景中的物体输出一组3D边界框参数。与过去的方法相比,DETR3D基于一些高级需求构建体系结构。

  • DETR3D将3D信息合并到中间计算中,而不是在图像平面上执行纯粹的2D计算
  • DETR3D不估计密集的三维场景几何,避免相关的重建误差
  • DETR3D避免了NMS等后处理步骤

      如上图所示,DETR3D使用一个新的集合预测模块来解决这些问题,该模块通过在2D和3D计算之间交替来连接2D特征提取和3D边界框预测。我们的模型包括三个关键部分:
  • 首先,遵循2D视觉中的常见做法,它使用共享ResNet主干从相机图像中提取特征。这些特征可以选择性的由特征金字塔网络增强
  • 一个检测头,以集合感知的方式将计算出的2D特征连接到一组3D边界框预测中。检测头的每一层都是从一组稀疏的对象查询开始,这些查询是从数据中学习的。每个对象查询编码一个3D位置,该位置被投影到相机平面上,用于通过双线性插值收集图像特征。DETR3D使用多头注意力通过结合对象交互来细化对象查询。该层重复多次,在特征采样和对象查询细化之间交替。
  • DETR3D采用了一个集合到集合的损失来训练网络

特征学习

  DETR3D的输入有图像 I={im1,…,imK}⊂RHim×Wim×3I={im1​,…,imK​}⊂RHim​×Wim​×3,相机矩阵 T={T1,…,TK}⊂R3×4T={T1​,…,TK​}⊂R3×4,地面真实边界框B={b1,…,bj,…,bM}⊂R9B={b1​,…,bj​,…,bM​}⊂R9,和分类类别C={c1,…,cj,…,cM}⊂ZC={c1​,…,cj​,…,cM​}⊂Z,每一个边界框包含BEV视角下的位置、大小、朝向角和速度。DETR3D旨在从这些图像预测这些框及其标签。图像数据经过ResNet和FPN网络被编码为四组特征F1,F2,F3,F4F1​,F2​,F3​,F4​,每组特征Fk={fk1,…,fk6}⊂RH×W×CFk​={fk1​,…,fk6​}⊂RH×W×C对应六个不同视角下图像的某一级特征。这些多尺度特征为识别不同大小的物体提供了丰富的信息。

检测头

  在相机输入中检测物体的现有方法通常采用自下而上的方法,该方法预测每张图像的密集边界框,过滤图像之间的冗余框,并在后处理步骤中汇总相机之间的预测。这种范式由两个关键的缺点:密集边界框预测需要精确的深度感知,这本身就是一个具有挑战性的问题;基于NMS的冗余删除和聚合是不可并行化的操作,会引入大量的推理开销。
DETR3D采用下面描述的自顶向下的目标检测头来解决这些问题。它使用L层基于集合的计算从2D特征图中产生边界框估计,每层都遵循如下的步骤:

  • 预测一组与对象查询相关的边界框中心
  • 使用相机变换矩阵将这些中心投影到所有的特征映射中
  • 通过双线性插值采样特征,并将其合并到对象查询中
  • 采用多头注意力机制描述对象的相互作用

  基于DETR,每一层ℓ∈{0,…,L−1}ℓ∈{0,…,L−1}在一组对象查询上操作Qℓ={qℓ1,…,qℓM∗}⊂RCQℓ​={qℓ1​,…,qℓM∗​}⊂RC生成一个新的集合Qℓ+1Qℓ+1​。每一个参考点cℓi∈R3cℓi​∈R3都按照以下公式从对象查询中解码

cℓi=Φref(qℓi),cℓi​=Φref(qℓi​),

  其中ΦrefΦref是一个神经网络。cℓicℓi​可以假设为第i个边界框的中心。之后获取对应cℓicℓi​的图像特征并且优化和预测最终的边界框,cℓicℓi​通过相机的转换矩阵投影到六个视图中的一个。

cℓi∗=cℓi⊕1cℓmi=Tmcℓi∗,cℓi∗​=cℓi​⊕1cℓmi​=Tm​cℓi∗​,

  其中⊕⊕表示在通道维度上拼接,cℓmicℓmi​是在第m个相机上投影出来的参考点。为了消除特征图大小的影响并收集不同级别的特征图,DETR3D将cℓmicℓmi​归一化为[-1,1]。然后,对图像特征进行采集。

fℓkmi=fbilinear(Fkm,cℓmi)fℓkmi​=fbilinear(Fkm​,cℓmi​)

  其中fℓkmifℓkmi​表示来自于DETR3D中第L层,第M个相机的输入图像,第K个特征图的第I个点的特征。<

论文精读:《DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries》 我们介绍了一个多摄像机三维目标检测(multi-camera 3D object detection)的框架。与现有的直接从单目图像中估计三维边界盒或利用深度预测网络从二维信息中生成用于三维目标检测的输入相比,我们的方法直接在三维空间中处理预测。具体流程:我们的架构从多个摄像机图像中提取2D特征,然后使用稀疏的3D对象查询集索引到这些2D特征中,使用摄像机变换矩阵将3D位置链接到多视角图像。最后,我们的模型对每个对象查询进行包围盒预测,使用集到集的损失来度量真实框和预测之间的差异。 阅读详情

相关推荐

DETR3D模型源码导读 & MMDetection3D构建流程

本文主要是学习整理,结合DETR3D的模型结构与MMDetection3D的模型构建方法,首先介绍model dict的模型参数设置,然后介绍逐个介绍DETR3D中的子结构,过程中简单讲解mmdetection3d的模型构建流程。model部分:定义按照backbone,neck,head的顺序设置模型参数.....................

AI训练师中的点滴 4746

论文翻译:《DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries》

DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries   这篇论文的四个作者分别来自麻省理工学院、丰田研究院、卡耐基梅隆大学、理想汽车,最近被CORL 2021接收。 论文链接:https://export.arxiv.org/abs/2110.06922 官方开源代码:https://github.com/WangYueFt/detr3d Abstract   我们介绍了一种用于多相机3D目标检测的框架。现

Sual 7581

DETR3D论文解析

3D 目标检测是自动驾驶的重要任务之一,传统方法通常依赖于 LiDAR 点云数据。然而,LiDAR 设备昂贵且数据处理复杂,因此基于相机的 3D 目标检测逐渐成为研究热点。,它直接在 3D 空间中进行目标查询,并结合多视角 2D 图像特征进行检测,无需深度预测或点云数据。为了解决这些问题,本文提出了一种新的基于 Transformer 的多相机 3D 目标检测方法——

butterflies_的博客 764

无人驾驶-202501-自动驾驶BEV感知算法指南06:隐式视角转换的 BEV 感知算法【DETR3D(202110)、BEVFormer(202203)、PETR(202203)】

本章介绍隐式视角转换的方法。隐式视角转换的BEV感知算法,如DETR3D、BEV-Former和PETR,是近年来3D目标检测领域的新兴技术。这些算法通过深度学习模型,直接将图像或多传感器数据映射到鸟瞰视角下,无须显式地进行视角转换。其中,DETR3D借鉴了检测变换器(Detection Transformer,DETR)的思想,利用Transformer实现端到端的3D目标检测。BEVFormer则通过引入时空交叉注意力机制,在BEV空间内对多传感器数据进行特征融合,提升了检测的精度和鲁棒性。

u013250861的博客 749

技术解析:PETR如何通过3D位置编码革新多视角3D目标检测

本文深入解析了PETR如何通过创新的3D位置编码技术革新多视角3D目标检测。PETR直接将2D特征与3D位置信息融合,避免了传统方法中的投影采样误差,显著提升了检测精度。在NuScenes数据集上,PETR的中心点误差比DETR3D降低15%,特别适用于自动驾驶等需要精确空间感知的场景。

weixin_30892037的博客 410

BEVFormer --- 来自于Deformable DETR

说到BEVFormer就不得不说到Deformable DETR,因为BEVFormer中的deformable attention来自于Deformable DETR,而说到Deformable DETR就不得不说到DETR,因为Deformable DETR中利用transformer完成图像目标检测的思路来自DETR,所以,这篇博客介绍的顺序是DETR→Deformable DETR→BEVFormer。

qq_45783225的博客 1930

自动驾驶感知新范式——BEV感知经典论文总结和对比(上)

自动驾驶bev感知经典论文总结和对比

苹果姐计算机视觉原创知识分享 8314

从DETR3D到PETR:在NuScenes数据集上复现与性能对比实验全记录

本文详细记录了在NuScenes数据集上复现DETR3D和PETR两种3D目标检测模型的实战经验,包括环境配置、数据准备、模型优化和性能对比。重点分析了PETR的3D Position Embedding创新设计及其在自动驾驶视觉检测中的优势,提供了完整的调参指南和问题解决方案,帮助研究者快速掌握前沿技术。

weixin_38171030的博客 411

【DETR用于3D目标检测】DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries

本文介绍了一个用于多摄像机三维目标检测的框架。现有的工作是直接从单目图像中估计三维边界框,或使用深度预测网络从二维信息中生成三维目标检测的输入,与此不同,本文的方法直接在三维空间中操作预测。 DETR3D 从多个相机图像中提取二维特征,然后使用一组稀疏的 3D 对象查询来索引到这些二维特征中,使用摄像机转换矩阵将 3D 位置链接到多视图图像,然后对每个对象查询进行边界框预测,使用集合到集合的损失来测量地面真实值和预测之间的差异。...

梁瑛平的博客 1676

【DETR用于3D目标检测】3DETR: An End-to-End Transformer Model for 3D Object Detection

本文提出了基于端到端的 3D 目标检测模型,并提出了具有非参数查询和傅里叶位置嵌入的 Transformer。通过大量的实验发现,3DETR 在具有挑战性的 ScanNetV2 数据集上比 VoteNet 基线高出9.5%。此外,本文还展示了 3DETR 适用于检测之外的三维任务,并可以作为未来研究的构建块。...

梁瑛平的博客 2061

【使用 DETR(Transformer)进行 3D 目标检测】3DETR: An End-to-End Transformer Model for 3D Object Detection

本文提出了基于端到端的 3D 目标检测模型,并提出了具有非参数查询和傅里叶位置嵌入的 Transformer。通过大量的实验发现,3DETR 在具有挑战性的 ScanNetV2 数据集上比 VoteNet 基线高出9.5%。此外,本文还展示了 3DETR 适用于检测之外的三维任务,并可以作为未来研究的构建块。其中 3DETR 是一种端到端可训练的 Transformer,它以一组三维点(点云)作为输入,并输出一组三维边界框。编码器使用多层自注意产生一组点特征。

2401_87064292的博客 813

ECCV 2024 | Diff3DETR: 基于代理的扩散模型用于半监督3D目标检测

3D目标检测对于理解3D场景至关重要。当代技术通常需要大量的标注训练数据,然而为点云获取逐点标注既耗时又费力。最近,半监督方法的发展通过采用师生框架为未标注的点云生成伪标签来缓解这一问题。然而,这些伪标签往往缺乏多样性和质量较差。为了克服这些障碍,作者提出了一个基于代理的扩散模型用于半监督3D目标检测(Diff3DETR)。具体来说,作者设计了一个基于代理的目标查询生成器,以生成能够有效适应动态场景的目标查询,同时平衡采样位置和内容嵌入。

小白学视觉 238

DETR3D 多2d图片3D检测框架

DETR3D 多2d图片3D检测框架

jacke121的专栏 2179

【点云】M3DeTR: Multi-representation, Multi-scale, Mutual-relation 3D Object Detection with Transformers

本文提出了一种新的三维目标检测架构,M3DETR,它将不同的点云表示(原始、体素、鸟瞰图)与基于多尺度特征金字塔的不同特征尺度相结合。M3DETR 是第一种使用 Transformer 同时统一多个点云表示、特征尺度以及建模点云之间的相互关系的方法。 ...

梁瑛平的博客 1070

grafana对接zabbix数据展示

【配置】点击【模板】点击【创建模板】添加三个监控项:【名称】搜索【】创建的模板;点击上方【监控项】,点击创建【监控项】点击上方【触发器】点击【创建触发器】主机关联监控模板:左侧【配置】点击 【主机】点击【Zabbix server】查看:左侧点击【监测】点击【主机】点击【Zabbix server】点击最新数据,找到添加的三个模板主机关联监控模板:左侧【配置】点击 【主机】点击【Zabbix server】把监控模板用起来① 明确获取指标数据的方法。

2401_83883919的博客 6597

昇腾Atlas Duo 300I推理卡实战:从零部署Qwen大模型推理服务

本文详细记录了在华为昇腾Atlas Duo 300I推理卡上,从零部署Qwen1.5-14B-Chat大模型推理服务的完整实战过程。涵盖环境准备、MindIE容器配置、CANN工具链安装、服务启动与API测试等关键步骤,并分享了性能观察与排错经验,为国产AI算力平台部署LLM推理服务提供了实用指南。

weixin_29084231的博客 1247

cellchat安装

cellchat

m0_65188455的博客 5453

基于任务的功能磁共振成像的连接性分析

虽然这种方法通过减少偶然只选择特异性代表的可能性来改善可推广性,但类别内和类别间的变异性变得更难控制(例如,"鸟类"可能是一个比"车辆"更加/不那么同质的类别),并且可能会出现关于这些预定义类别是否是现实世界实体的有意义划分的担忧——尽管这个限制在某种程度上可以通过表征相似性分析来解决。特别是,海马单变量激活和语义认知区域(左下额回)中语义信息的表征强度之间的交互预测了项目的概念记忆,而海马单变量激活和视觉处理区域(腹内侧枕叶皮层)中视觉属性的表征强度之间的交互预测了图像样本的知觉记忆。

cc1609130201的博客 2233

Java 处理地理信息数据[DEM TIF文件数据获取高程]

EPSG 是一个国际标准,用于唯一标识地理坐标系和投影坐标系。

两点 1283

centos7 python3.12.1 报错 No module named _ssl,坑我几个小时

网上的教程很多,但几乎是无效的,跟着我这教程,可以完美解决。

Amio_的博客 1万+

Dataworks实现接口调用

在本地linux虚拟机(不用在意linux版本),安装Anaconda后配置对应的虚拟环境,将虚拟环境的python包整体打包(路径一般为:~/anaconda/envs/env_name/lib/pyyhon3.7/site-packages):上传资源,将第三方包上传至dataworks(注意:所有上传文件均要打包上传,直接上传文件会乱码导致无法使用):PyODPS,其中PyODSP2的python版本为2.7,PyODSP3的python版本为3.7。:在PyODPS中引用资源,然后开发接口。

hutc_Alan的博客 1682

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

上一篇: AI绘画一键生成美图-变成画家
下一篇: 一种通用的图像分割模型
Srlua小谢
Srlua小谢 优质创作者: 编程框架技术领域 优质创作者: 编程框架技术领域
博客等级 码龄4年 8963粉丝 332原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值