DETR3d原理和源码解读

最新推荐文章于 2025-03-14 23:01:26 发布
最新推荐文章于 2025-03-14 23:01:26 发布
阅读量3.1k 收藏 33
点赞数 27
分类专栏： BEV感知系列 文章标签： 3d 算法 深度学习 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zwhdldz/article/details/136374371
版权

目录


代码链接https://github.com/WangYueFt/detr3d

原理简介:

不同于LSS、BEVDepth的bottom-up式，先进行深度估计，设计2D转3D的模块。DETR3D是一种3D转2D的top-down思路。先预设一系列预测框的查询向量object querys，利用它们生成3D reference point，将这些3D reference point 利用相机参数转换矩阵，投影回2D图像坐标，并根据他们在图像的位置去找到对应的图像特征，用图像特征和object querys做cross-attention，不断refine object querys。最后利用两个MLP分支分别输出分类预测结果与回归预测结果。正负样本则采用和DETR相同的二分图匹配，即根据最小cost在900个object querys中找到与GT数量最匹配的N个预测框。由于正负样本匹配以及object querys这种查询目标的方式与DETR类似，因此可以看成是DETR在3D的扩展。

数据准备:

把你的nuscenes数据集,软链接或者直接放到工程下的data文件夹内
预训练权重不想下载就修改detr3d_res101_gridmask.py

load_from=‘’

运行方法:
/home/xxx/anaconda3/envs/{YOUR_ENV}/lib/python3.8/site-packages/torch/distributed/launch.py --nproc_per_node=1
tools/train.py
projects/configs/detr3d/detr3d_res101_gridmask.py
nproc_per_node为GPU数量

源码阅读:

#数据输入:
在这里插入图片描述
data_batch的包含四个变量:

变量作用
img_meta图像尺寸,lidar2img外参等
gt_bboxes_3d3d box的尺寸和位置等
gt_labels_3c3d box的类别
img输入图像Tensor

前向传播

GridMask数据增强

随机遮掩防止过拟合
在这里插入图片描述
在这里插入图片描述

backbone+neck

输入图像为

[b,n,c,w,h]

其中b为batch,n为摄像头数量
每张图像处理是一样的,所以b和n维度合并,输入到backbone的shape为

[bn,c,w,h]

backbone为resnet,经过backbone输出为

[[bn,64,w/4,h/4],[bn,128,w/8,h/8],[bn,256,w/16,h/16],[bn,512,w/32,h/32]]

neck为fpn,经过neck的输出为

[[bn,64,w/8,h/8],[bn,64,w/16,h/16],[bn,64,w/32,h/32],[bn,64,w/64,h/64]]

b和n维度解开:

[[b,n,64,w/8,h/8],[b,n,64,w/16,h/16],[b,n,64,w/32,h/32],[b,n,64,w/64,h/64]]

head

Detr3DTransformer

目标qurey:query_embeds,shape=[num_query,embed_dims * 2]
前一半作为position_embedding, 后一半作为content_embedding

query_pos, query = torch.split(query_embed, self.embed_dims , dim=1)

query_pos经过全连接生成reference_points(目标的参考3d位置,范围[0,1],以整个bev图为参考):[b,num_query,embed_dims]->[b,num_query,3]

DetrTransformerDecoderLayer(BaseTransformerLayer)

  1. self_attn
    query[b,num_query,embed_dims]进行self_attention,位置编码为query_pos
    目标编码之间进行交互,据说可以移除冗余框；为了让模型训练的更快更稳定(后面需要测试以下这个self_attention的作用)

  2. cross_attn
    query[b,num_query,embed_dims]线性映射为attention_weights [b,1,num_query,n,num_points,num_level]
    其中num_points为采样点数量,num_level为特征层数量
    feature_sampling
    reference_points转换到lidar坐标系下,再根据lidar2img转到图像坐标系,再除以图像尺度归一化到[-1,1]之间
    使用F.grid_sample在多尺度特征中进行特征采样
    mask标记在图像范围外的reference_points
    attention_weights*mask屏蔽无效query
    将得到的output首先和attention_weigth相乘，然后连续三个sum(-1)，将不同相机，不同尺度的feature直接相加，将这些特征都融合再一起，再通过一个out_proj的线性层,output就和之前shape一样了[b,num_query,embed_dims],方便下一次迭代.
    注意: num_points实际上不论是几都等效于1,reference_points映射到图像只能是1对1,采样过程也是1对1.除非用deformable_detr.

Iterative Bounding Box Refinement(针对box的xyz位置信息)

初始一个reference_points,每次经过transfomer_layer的query再经过reg_branch层输出box的偏差,这个偏差和前一层的reference_points进行add操作,得到新得reference_points输入给下一级.
思考下:这个策略是不是和辅助损失相冲突?

loss

类别头只处理最后一层即可,reg头需要处理每一层用于Iterative Bounding Box Refinement
类别结果,来源于类别头
回归结果,来源于最后一个reg头和倒数第二层的reference_points

和DETR类似，在所有object queries预测出来的预测框和所有GT box之间利用匈牙利算法进行二分图匹配，找到使得cost最小的最优匹配。
①. 分别计算分类cost：focal loss， 回归cost：l1 loss， 两者的和作为cost代价矩阵
②. 利用二分图匹配获得使cost最小的匹配结果

bev pool 原理及代码讲解
@bangbang的博客
09-17 482
个视锥点对应的3d坐标（voxel/bev坐标系）, 其中Nprime = B x N x D x H x W（相当于视锥点个数）。将bev特征沿着Z方向（dim=2）拍平，得到shape大小为(B,C,X,Y)大小的bev特征，比如(1,80,200,200)。bev_pool的目的是。对于感知算法而言，我认为比较重要的是要了解在Bev视角下，x轴和y轴方向的感知距离，以及Bev网格的大小。（1）基于 geom_feats在bev网格中的位置(x,y,z)和batch_id,对其进行排序。
bevformer详解(3): 逐行代码讲解
@bangbang的博客
05-22 2799
在这篇文章中，我们将从BEVFormer算法代码入手，深入探究BEV转换的流程。BEVFormer是一种基于Transformer的BEV转换模型，其核心思想是利用自注意力机制和交叉注意力机制，从，并通过Object Query与BEV特征的交互，完成3D目标检测和地图分割等任务。https://developer.baidu.com/article/details/3224715bevformer的网络结构由三部分组成, 模型结构所示，其中的是部分，对于的是的结构，对于部分，沿用的中的decoder部分，
DETR3D笔记
qq_42250207的博客
07-20 2192
2、对于尺寸的建模不是特别好，比如在gt中有个车是很长的，在预测结果中车相对而言是很短的，产生这样尺寸差异的原因是什么呢？DETR3D是可以利用重复特征去预测的，3D reference point对多视角分别投影，比如一个reference point投影回视角1的时候投影到重叠区域了，拿一次特征，投影回视角2的时候又投影到这个重叠区域了，又拿一次特征，是可以通过多视角特征进行融合的，所以对于重叠区域，DETR3D的检测融合的是多视角的特征，相比单一视角的检测而言，性能自然是有明显提升的。
MMDetection3D之DETR3D源码解析：整体流程篇
AI训练师中的点滴
06-14 2925
DETR3D
DETR、Deformable DETR、DETR3D算法思路和算法流程学习
qq_49451339的博客
03-14 885
即，query动态地（经过linear和softmax）生成和采样点个数相同的attention 分数，再用attention分数和采样点特征value加权求和，作为更新的query的特征。query对应着一个3D参考点（目标物体3d bbox的中心点），这个参考点的具体位置是将query特征解码（输入一个神经网络）后获得的，可以说query特征隐式地编码了参考点的位置。更新的object query特征为：该query在所有注意力head中，所有层的特征图上，所有采样点处采样到的图像特征的加权求和。
DETR3D代码阅读
asdapple117的博客
10-09 1827
DETR3D源码阅读
DETR3D模型源码导读 & MMDetection3D构建流程
AI训练师中的点滴
06-19 4394
本文主要是学习整理，结合DETR3D的模型结构与MMDetection3D的模型构建方法，首先介绍model dict的模型参数设置，然后介绍逐个介绍DETR3D中的子结构，过程中简单讲解mmdetection3d的模型构建流程。model部分：定义按照backbone,neck,head的顺序设置模型参数.....................
BEV (3)---DETR3d
weixin_42454048的博客
05-16 2747
①. 利用Resnet101 + fpn提取6张环视图像特征，获得1/4, 1/8, 1/16, 1/32, 4个不同尺度的输出(②. 预设900个预测框（object_querys）， 拆分object query为query和query_pos, 利用全连接处理query_pos获得BEV空间3D reference point (x， y， z)的预测结果。
论文精读：《DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries》
zyw2002的博客
12-09 7142
我们介绍了一个多摄像机三维目标检测（multi-camera 3D object detection）的框架。与现有的直接从单目图像中估计三维边界盒或利用深度预测网络从二维信息中生成用于三维目标检测的输入相比，我们的方法直接在三维空间中处理预测。具体流程：我们的架构从多个摄像机图像中提取2D特征，然后使用稀疏的3D对象查询集索引到这些2D特征中，使用摄像机变换矩阵将3D位置链接到多视角图像。最后，我们的模型对每个对象查询进行包围盒预测，使用集到集的损失来度量真实框和预测之间的差异。
【Transformer】小白入门指南
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
01-07 1424
Transformer是起源于NLP领域，然后在图像、视频、声音等领域都得到了广泛应用的基础架构，是继MLP、CNN、RNN’后的公认的第四大基础模型结构。Transformer技术凭借其卓越的表现和广泛的应用前景，已经成为了机器学习领域的一个关键技术。自从2017年Google提出》一文以来，Transformer架构的出现彻底改变了机器学习和深度学习的格局，尤其是在处理语言模型、生成模型以及多模态学习等领域，Transformer几乎成为了不可或缺的技术基石。
BEVFormer 开源算法逐行解析（一）：Encoder 部分
地平线开发者
08-28 2173
从上述config文件可以看出，6个相机输出的图像在前向传播过程中依次经过了’ResNet’、‘FPN’获得了图像特征，然后经过’BEVFormerHead’模块中的’BEVFormerEncoder’和’DetectionTransformerDecoder’完成了特征融合的全过程。其中’BEVFormerEncoder’包括前后级联的’TemporalSelfAttention’和’SpatialCrossAttention’，这种前后级联的结构在bevformer_tiny中一共有3层。
2025年 课程设计 机器学习&深度学习实战案例,含有python代码和教程 (4月10日已更新1179篇)
sybh的博客
10-05 8237
10月促销价99.9,适合初学python机器学习深度学习的学生,从入门到精通,专栏内含有讲解,每篇文章都含有对应的代码,会持续更新,更新至千篇案例,已经更新六百多个项。
(BEV论文精读1)DETR3D: 3D Object Detectionfrom Multi-view Images via 3D-to-2D Queries
qq_55794606的博客
09-02 1469
本文的主要贡献如下：我们提出了一种基于RGB图像的简化3D物体检测模型。与现有工作在最终阶段结合来自不同相机视角的物体预测不同，我们的方法。据我们所知，这是首次尝试将多摄像头检测视为3D集合到集合的预测。我们引入了一个模块，。该方法不会受到次级网络中不准确深度预测的影响，并通过反投影3D信息到所有可用帧上，无缝利用多个摄像头的信息。类似于Object DGCNN [11]，我们的方法不需要后处理步骤，例如每张图像或全局的非极大值抑制（NMS），并且在性能上与现有基于NMS的方法相当。
适合小白的Detr3D详解：3D目标检测的“Transformer革命”
shyr_sheyu的博客
02-15 1133
本文用大白话+代码逐行解析的形式，带你搞懂Detr3D这个将Transformer引入3D目标检测的开创性工作。
DETR3D 开源项目教程
gitblog_00153的博客
08-10 515
DETR3D 开源项目教程 detr3d项目地址:https://gitcode.com/gh_mirrors/de/detr3d 项目介绍 DETR3D 是一个基于 Transformer 架构的开源三维目标检测框架，由清华大学计算机系研发。该项目旨在为自动驾驶、室内定位、无人机导航等领域提供高效且精准的三维物体识别解决方案。DETR3D 通过从多视角图像中提取二维特征，并使用稀疏的 3D 对...
DETR3D：将DETR用于3D目标检测任务
3D视觉工坊
11-11 4228
作者 | 慕弋云子@知乎（已授权）原文 | https://zhuanlan.zhihu.com/p/430198800编辑 | 南山本文只用作学术讨论。转载需联系原作者。前几天被导师...
使用pdb进行detr3d代码走读（一）
晚秋garden
10-21 415
结合bash tools/dist_test.sh projects/DETR3D/configs/detr3d_r101_gridmask.py ~/Downloads/detr3d_r101_gridmask.pth 1。进入func的调用栈，一路穿刺之后找到outputs = self.runner.model.test_step(data_batch)，这是典型的输出 = 模型（输入）的结构，感觉快找到了。还以为遍历module已经开始eval了，但是好像仍然是初始化实例的过程。
DETR3D 开源项目使用教程
gitblog_00266的博客
08-10 478
DETR3D 开源项目使用教程 detr3d项目地址:https://gitcode.com/gh_mirrors/de/detr3d 1. 项目的目录结构及介绍 detr3d/ ├── configs/ │ ├── default_runtime.py │ ├── faster_rcnn_r50_fpn_1x.py │ └── ... ├── detr3d/ │ ├── cor...
DETR源码学习（二）之模型训练
pengxiang1998的博客
03-20 2253
前面在完成了DETR模型的构建后，我们接下来便是进行数据集构造与模型训练了，模型训练阶段会涉及到网络前向传播与后向传播，这才是真正的难点。
detr源码解读
最新发布
03-24
### DETR 源码解析及其 PyTorch 官方教程 #### 1. **DETR 的整体架构** DETR 是一种端到端的目标检测算法，其核心组件包括 Transformer 编码器和解码器、位置编码以及多头注意力机制。它摒弃了传统的非极大值抑制 (NMS) 和锚框设计，转而采用集合预测的方式完成目标检测任务。 - DETR 使用了一个简单的 CNN 主干网络提取特征图，并将其展平为一维序列输入给 Transformer。 - 通过引入可学习的位置嵌入向量来增强空间信息的学习能力[^1]。 #### 2. **主要模块详解** ##### （1）**项目配置与数据处理** `CocoDetection` 类用于加载 COCO 数据集并返回图像张量与其对应的标注信息。 `ConvertCocoPolysToMask` 则负责将 COCO 格式的多边形掩膜转换成二值掩膜矩阵形式以便后续计算损失函数时使用。 ```python from torchvision.datasets import CocoDetection import transforms as T class ConvertCocoPolysToMask(object): def __call__(self, image, target): w, h = image.size # 转换过程省略... return image, target ``` ##### （2）**Transformer 结构** Transformer 构成了 DETR 的核心部分，分为编码器和解码器两大部分： - **编码器**: 接收来自 Backbone 提取的特征图作为输入，经过多次自注意操作后输出高阶语义表示； - **解码器**: 输入一组固定的查询向量（query vectors），这些向量会逐步更新并通过交叉注意机制获取全局上下文信息最终生成边界框坐标及类别概率分布[^5]。 具体实现上定义了 `TransformerEncoderLayer`, `TransformerDecoderLayer` 等子模块分别对应单层 Encoder 或 Decoder 的逻辑[^6]。 ##### （3）**位置编码** 为了帮助模型更好地捕捉像素间相对距离关系，在送入 Transformer 前需附加额外的空间先验知识即正弦型位置编码(Sine Positional Encoding)[^7]: ```python def sine_position_encoding(x_shape, dim=256): temperature = 10000. num_pos_feats = dim // 2 mask = torch.zeros((x_shape[-2], x_shape[-1]), dtype=torch.bool).to(device) not_mask = ~mask y_embed = not_mask.cumsum(0, dtype=torch.float32) x_embed = not_mask.cumsum(1, dtype=torch.float32) eps = 1e-6 y_embed = y_embed / (y_embed[:, -1:] + eps) x_embed = x_embed / (x_embed[-1:, :] + eps) dim_t = torch.arange(num_pos_feats, dtype=torch.float32, device=device) dim_t = temperature ** (2 * (dim_t // 2) / num_pos_feats) pos_x = x_embed[..., None] / dim_t pos_y = y_embed[..., None] / dim_t pos_x = torch.stack((pos_x[..., 0::2].sin(), pos_x[..., 1::2].cos()), dim=-1).flatten(-2) pos_y = torch.stack((pos_y[..., 0::2].sin(), pos_y[..., 1::2].cos()), dim=-1).flatten(-2) pos = torch.cat((pos_y, pos_x), dim=-1).permute(2, 0, 1).unsqueeze(0) return pos.repeat(x_shape[0], 1, 1, 1) ``` ##### （4）**Backbone 设计** 通常选用 ResNet 系列预训练好的卷积神经网络充当主干网路角色，提供高质量低分辨率特征映射供下游任务利用[^8]。 ##### （5）**Loss Function** 总损耗由三方面构成：分类误差、L1 回归偏差度量项还有 GIoU 度量标准共同决定优化方向[^9]。 --- #### 3. **如何按照官方教程运行 DETR？** 根据参考资料中的描述可以得知如下步骤指南: 1. 首先克隆官方仓库至本地环境; 2. 下载预训练权重文件放置指定路径下; 3. 修改配置参数适配个人需求场景比如调整 batch size 大小或者 epoch 数目等等; 4. 执行脚本启动训练流程观察日志变化趋势直至收敛为止[^3]. 对于 RT-DETR 这种改进版本而言，则提供了更大的自由度允许开发者自行调节某些超参从而满足特定应用场景下的性能指标要求而不必完全依赖于重头再来一遍完整的迭代周期[^4]. ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

知其所以然也

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值