【DETR3D】3D目标检测

最新推荐文章于 2025-11-11 21:10:19 发布
原创 最新推荐文章于 2025-11-11 21:10:19 发布 · 854 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #人工智能


✨✨ 欢迎大家来访Srlua的博文（づ￣3￣）づ╭❤～✨✨

🌟🌟 欢迎各位亲爱的读者，感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢，在这里我会分享我的知识和经验。🎥

希望在这里，我们能一起探索IT世界的奥妙，提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏：传知代码论文复现

欢迎访问我的主页：Srlua小谢 获取更多信息和资源。✨✨🌙🌙

​​

​​

目录

概述

模型结构

特征学习

检测头

演示效果

核心逻辑

部署方式

参考文献

 本文所有资源均可在该地址处获取。

概述

  DETR3D介绍了一种多摄像头的三维目标检测的框架。与现有的直接从单目图像中估计3D边界框或者使用深度预测网络从2D信息中生成3D目标检测的输入相比，DETR3D直接在3D空间中进行预测。DETR3D从多个相机图像中提取2D特征，使用3D对象查询的稀疏集来索引这些2D特征。使用相机变换矩阵将3D位置链接到多视图图像。最后对每个目标单独进行边界框预测，使用集合到集合的损失来衡量真值和预测之间的差异。

模型结构

  DETR3D架构的输入是一组投影矩阵（内参和相对外参的组合）和已知的相机收集的RGB图像，为场景中的物体输出一组3D边界框参数。与过去的方法相比，DETR3D基于一些高级需求构建体系结构。

  • DETR3D将3D信息合并到中间计算中，而不是在图像平面上执行纯粹的2D计算
  • DETR3D不估计密集的三维场景几何，避免相关的重建误差
  • DETR3D避免了NMS等后处理步骤

      如上图所示，DETR3D使用一个新的集合预测模块来解决这些问题，该模块通过在2D和3D计算之间交替来连接2D特征提取和3D边界框预测。我们的模型包括三个关键部分：
  • 首先，遵循2D视觉中的常见做法，它使用共享ResNet主干从相机图像中提取特征。这些特征可以选择性的由特征金字塔网络增强
  • 一个检测头，以集合感知的方式将计算出的2D特征连接到一组3D边界框预测中。检测头的每一层都是从一组稀疏的对象查询开始，这些查询是从数据中学习的。每个对象查询编码一个3D位置，该位置被投影到相机平面上，用于通过双线性插值收集图像特征。DETR3D使用多头注意力通过结合对象交互来细化对象查询。该层重复多次，在特征采样和对象查询细化之间交替。
  • DETR3D采用了一个集合到集合的损失来训练网络

特征学习

  DETR3D的输入有图像 I={im1,…,imK}⊂RHim×Wim×3I={im1​,…,imK​}⊂RHim​×Wim​×3，相机矩阵 T={T1,…,TK}⊂R3×4T={T1​,…,TK​}⊂R3×4，地面真实边界框B={b1,…,bj,…,bM}⊂R9B={b1​,…,bj​,…,bM​}⊂R9，和分类类别C={c1,…,cj,…,cM}⊂ZC={c1​,…,cj​,…,cM​}⊂Z，每一个边界框包含BEV视角下的位置、大小、朝向角和速度。DETR3D旨在从这些图像预测这些框及其标签。图像数据经过ResNet和FPN网络被编码为四组特征F1,F2,F3,F4F1​,F2​,F3​,F4​，每组特征Fk={fk1,…,fk6}⊂RH×W×CFk​={fk1​,…,fk6​}⊂RH×W×C对应六个不同视角下图像的某一级特征。这些多尺度特征为识别不同大小的物体提供了丰富的信息。

检测头

  在相机输入中检测物体的现有方法通常采用自下而上的方法，该方法预测每张图像的密集边界框，过滤图像之间的冗余框，并在后处理步骤中汇总相机之间的预测。这种范式由两个关键的缺点：密集边界框预测需要精确的深度感知，这本身就是一个具有挑战性的问题；基于NMS的冗余删除和聚合是不可并行化的操作，会引入大量的推理开销。
DETR3D采用下面描述的自顶向下的目标检测头来解决这些问题。它使用L层基于集合的计算从2D特征图中产生边界框估计，每层都遵循如下的步骤：

  • 预测一组与对象查询相关的边界框中心
  • 使用相机变换矩阵将这些中心投影到所有的特征映射中
  • 通过双线性插值采样特征，并将其合并到对象查询中
  • 采用多头注意力机制描述对象的相互作用

  基于DETR，每一层ℓ∈{0,…,L−1}ℓ∈{0,…,L−1}在一组对象查询上操作Qℓ={qℓ1,…,qℓM∗}⊂RCQℓ​={qℓ1​,…,qℓM∗​}⊂RC生成一个新的集合Qℓ+1Qℓ+1​。每一个参考点cℓi∈R3cℓi​∈R3都按照以下公式从对象查询中解码

cℓi=Φref(qℓi),cℓi​=Φref(qℓi​),

  其中ΦrefΦref是一个神经网络。cℓicℓi​可以假设为第i个边界框的中心。之后获取对应cℓicℓi​的图像特征并且优化和预测最终的边界框，cℓicℓi​通过相机的转换矩阵投影到六个视图中的一个。

cℓi∗=cℓi⊕1cℓmi=Tmcℓi∗,cℓi∗​=cℓi​⊕1cℓmi​=Tm​cℓi∗​,

  其中⊕⊕表示在通道维度上拼接，cℓmicℓmi​是在第m个相机上投影出来的参考点。为了消除特征图大小的影响并收集不同级别的特征图，DETR3D将cℓmicℓmi​归一化为[-1,1]。然后，对图像特征进行采集。

fℓkmi=fbilinear(Fkm,cℓmi)fℓkmi​=fbilinear(Fkm​,cℓmi​)

  其中fℓkmifℓkmi​表示来自于DETR3D中第L层，第M个相机的输入图像，第K个特征图的第I个点的特征。<

最低0.47元/天 解锁文章
【DETR用于3D目标检测】3DETR: An End-to-End Transformer Model for 3D Object Detection
梁瑛平的博客
07-20 1968
本文提出了基于端到端的 3D 目标检测模型，并提出了具有非参数查询和傅里叶位置嵌入的 Transformer。通过大量的实验发现，3DETR 在具有挑战性的 ScanNetV2 数据集上比 VoteNet 基线高出9.5%。此外，本文还展示了 3DETR 适用于检测之外的三维任务，并可以作为未来研究的构建块。...
论文精读：《DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries》
zyw2002的博客
12-09 8751
我们介绍了一个多摄像机三维目标检测（multi-camera 3D object detection）的框架。与现有的直接从单目图像中估计三维边界盒或利用深度预测网络从二维信息中生成用于三维目标检测的输入相比，我们的方法直接在三维空间中处理预测。具体流程：我们的架构从多个摄像机图像中提取2D特征，然后使用稀疏的3D对象查询集索引到这些2D特征中，使用摄像机变换矩阵将3D位置链接到多视角图像。最后，我们的模型对每个对象查询进行包围盒预测，使用集到集的损失来度量真实框和预测之间的差异。
BEV (3)---DETR3d
weixin_42454048的博客
05-16 2975
①. 利用Resnet101 + fpn提取6张环视图像特征，获得1/4, 1/8, 1/16, 1/32, 4个不同尺度的输出(②. 预设900个预测框（object_querys）， 拆分object query为query和query_pos, 利用全连接处理query_pos获得BEV空间3D reference point (x， y， z)的预测结果。
BEV感知：DETR3D
Hanze的博客
02-21 1725
在这篇paper，作者提出了一个更优雅的2D与3D之间转换的算法在自动驾驶领域，它不依赖于深度信息的预测，这个框架被称之为DETR3D。这个方法主要是为了葱多视角获取 scene-specific information，作者把首先生成3D的query，生成3d reference point，通过相机参数矩阵投影到2D拿到相应的2D feature。我们提出了一个基于RGB图像进行3D目标检测的改进模型。
DETR3D
qq_35661896的博客
08-23 732
本节内容学习DETR3D。还是围绕以下四个方面展开，包括算法动机，还有网络结构损伤损失函数和性能对比。
3D目标检测入门论文: CaDDN, DETR3D
wxq的博客
05-14 849
[CVPR2021] Projecting Your View Attentively: Monocular Road Scene Layout Estimation via Cross-view Transformation 概要 transform the front-view monocular image to the top-view road layout 提出cross-view transformation module，利用视图之间的关系和cycle consistency加强视图变换
DETR、Deformable DETR、DETR3D算法思路和算法流程学习
qq_49451339的博客
03-14 1230
即，query动态地（经过linear和softmax）生成和采样点个数相同的attention 分数，再用attention分数和采样点特征value加权求和，作为更新的query的特征。query对应着一个3D参考点（目标物体3d bbox的中心点），这个参考点的具体位置是将query特征解码（输入一个神经网络）后获得的，可以说query特征隐式地编码了参考点的位置。更新的object query特征为：该query在所有注意力head中，所有层的特征图上，所有采样点处采样到的图像特征的加权求和。
DETR3D论文解析
butterflies_的博客
04-08 637
3D 目标检测是自动驾驶的重要任务之一，传统方法通常依赖于 LiDAR 点云数据。然而，LiDAR 设备昂贵且数据处理复杂，因此基于相机的 3D 目标检测逐渐成为研究热点。，它直接在 3D 空间中进行目标查询，并结合多视角 2D 图像特征进行检测，无需深度预测或点云数据。为了解决这些问题，本文提出了一种新的基于 Transformer 的多相机 3D 目标检测方法——
DETR3D：三维目标检测的新星
最新发布
gitblog_00061的博客
11-11 911
是一个基于Transformer架构的开源三维目标检测框架，由清华大学计算机系研发。该项目旨在为自动驾驶、室内定位、无人机导航等领域提供高效且精准的三维物体识别解决方案。 ## 技术解析 ### DETR式设计 DETR3D借鉴了二维目标检测器DETR（Direct Encoder-Decoder with Transformer）的设计理念，摒弃了传统物体检测模型中的锚点和多尺度特征层，通
DETR3D：将DETR用于3D目标检测任务
3D视觉工坊
11-11 4523
作者 | 慕弋云子@知乎（已授权）原文 | https://zhuanlan.zhihu.com/p/430198800编辑 | 南山本文只用作学术讨论。转载需联系原作者。前几天被导师...
DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries
SugerOO的博客
07-15 1383
本文提出了一个 仅使用 2D 信息的，3D 目标检测网络，并且比依赖与 密集的深度预测 或者 3D 重建的过程。类似于 DETR 的 set to set 的 loss，在 decoder 的每一个 layer 后面都有 loss 的计算。长久以来 3D目标检测是一个挑战，并且 仅使用 2D 的图像信息（RGB图像），相比于 3D 信息（LiDAR）更加困难。本文提出了一个更加优雅的 2D 观察到 3D预测的过渡，用于自动驾驶任务，该方法不依赖于 密集的深度预测模块。
DETR3D 多2d图片3D检测框架
jacke121的专栏
06-26 2096
DETR3D 多2d图片3D检测框架
Facebook AI团队的DETR模型代码复现
weixin_51345015的博客
11-16 3522
5.开始训练，Facebook AI 团队训练了 300 个 epoch，这里推荐修改 为 100，修改自己数据集位置 train2017 和 val2017 以及标注文件的路径，修改自己权重文件路径，开始训练， 训练完成之后会在output生成自己的训练模型 check 什么文件，记住他的路径。这个是我手机上编辑的，所以没放图片，代码里面需要修改的地方我都加了注释，参考文章里面也都有，大差不差，下面有我训练完成的录屏，大家有问题可以评论区讨论以及私信，看见就会回复。上面是所有的代码，大家可自取。
这篇笔记记录我在复现detr时遇到的各种问题（mini_coco数据集、单张图片推测脚本）
weixin_48667055的博客
10-14 777
（为什么是迷你版呢？因为我想快速验证我有没有成功复现，也不想花很多时间下载大的coco数据集，这个小的压缩包才2.2M，我是在别的博主那里看到的，但写这篇文章时已经过去好几天了，我忘了我在哪个链接看的了，就直接自己分享了，如有侵权，在此说声骚瑞~）链接: https://pan.baidu.com/s/1JQKTy4wGZ-qbrTkp5rG2Kw?（这里的预训练权重文件可以直接从官网下载，也可以在上面我分享的链接中拿）1.此分享链接=detr项目代码+预训练权重文件+迷你版coco数据集。
(BEV论文精读1)DETR3D: 3D Object Detectionfrom Multi-view Images via 3D-to-2D Queries
qq_55794606的博客
09-02 1747
本文的主要贡献如下：我们提出了一种基于RGB图像的简化3D物体检测模型。与现有工作在最终阶段结合来自不同相机视角的物体预测不同，我们的方法。据我们所知，这是首次尝试将多摄像头检测视为3D集合到集合的预测。我们引入了一个模块，。该方法不会受到次级网络中不准确深度预测的影响，并通过反投影3D信息到所有可用帧上，无缝利用多个摄像头的信息。类似于Object DGCNN [11]，我们的方法不需要后处理步骤，例如每张图像或全局的非极大值抑制（NMS），并且在性能上与现有基于NMS的方法相当。
多视图3D目标检测位置嵌入变换（论文复现）
wei_shuo的博客
10-21 224
多视图3D目标检测位置嵌入变换（论文复现）
detr3d
06-21
### DETR3D 介绍 DETR3D 是一种基于多视角图像的 3D 目标检测方法，它将 DETR 的思想扩展到了 3D 检测任务中[^1]。具体来说，DETR3D 利用了逆几何投影技术，将提取的 2D 特征与 3D 包络框预测连接在一起[^3]。这种方法能够无缝地利用多个相机的信息，并且避免了二阶段网络中深度预测不准确的问题。此外，DETR3D 不需要后处理步骤（如 NMS 或图像融合），从而简化了整个检测流程。 在 nuScenes 数据集上的实验表明，DETR3D 在重叠区域的表现优于其他方法，同时其性能与现有的基于 NMS 的方法相当[^3]。 --- ### DETR3D 的实现 DETR3D 的实现主要依赖于以下关键模块： 1. **特征提取**：通过卷积神经网络从多视角图像中提取 2D 特征。 2. **逆几何投影**：将 2D 特征映射到 3D 空间，形成鸟瞰图（BEV）表示。 3. **Transformer 编码器-解码器结构**：使用 Transformer 来建模全局上下文信息，并生成 3D 包络框预测。 4. **损失函数**：基于 bipartite matching loss 的思想，优化 3D 包络框的预测结果。 以下是 DETR3D 的核心代码框架示例： ```python import torch import torch.nn as nn class DETR3D(nn.Module): def __init__(self, backbone, transformer, num_classes, num_queries): super(DETR3D, self).__init__() self.backbone = backbone # 用于提取2D特征 self.transformer = transformer # Transformer编码器-解码器 self.num_classes = num_classes self.query_embed = nn.Embedding(num_queries, transformer.d_model) # 学习的对象查询 self.class_embed = nn.Linear(transformer.d_model, num_classes + 1) # 分类头 self.bbox_embed = MLP(transformer.d_model, transformer.d_model, 6, 3) # 3D包围框回归头 def forward(self, images, calib_matrices): # 提取2D特征 features = self.backbone(images) # 将2D特征反投影到3D空间 projected_features = inverse_geometric_projection(features, calib_matrices) # Transformer处理 hs = self.transformer(projected_features, self.query_embed.weight) # 预测分类和3D包围框 outputs_class = self.class_embed(hs) outputs_coord = self.bbox_embed(hs).sigmoid() return {'pred_logits': outputs_class, 'pred_boxes': outputs_coord} # 辅助函数：MLP定义 class MLP(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim, num_layers): super().__init__() self.layers = nn.ModuleList() for _ in range(num_layers): self.layers.append(nn.Linear(input_dim, hidden_dim)) self.layers.append(nn.ReLU()) input_dim = hidden_dim self.layers.append(nn.Linear(hidden_dim, output_dim)) def forward(self, x): for layer in self.layers: x = layer(x) return x ``` --- ### DETR3D 的教程 为了更好地理解和使用 DETR3D，可以参考以下资源： 1. **官方文档和代码**：如果 DETR3D 有官方实现，建议优先参考官方代码库。通常情况下，官方文档会提供详细的安装指南、模型配置和训练脚本。 2. **Deformable DETR 教程**：虽然 Deformable DETR 和 DETR3D 不完全相同，但它们都基于 DETR 架构，因此可以参考 Deformable DETR 的教程来理解 Transformer 的应用[^2]。 3. **主流框架教程**：学习 PyTorch 或 TensorFlow 的基础知识，特别是 Transformer 和多视角几何相关内容[^4]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值