DETR3D

最新推荐文章于 2024-10-05 00:24:44 发布
最新推荐文章于 2024-10-05 00:24:44 发布
阅读量93 收藏
点赞数
文章标签： 自动驾驶
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43489950/article/details/131036646
版权
博客链接指向知乎文章，标签显示与自动驾驶相关，但具体内容需点击链接查看，推测涉及自动驾驶领域的信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

https://zhuanlan.zhihu.com/p/516071012

樨潮
关注
DETR3D 多2d图片3D检测框架
jacke121的专栏
06-26 1984
DETR3D 多2d图片3D检测框架
DETR3D论文解析
最新发布
butterflies_的博客
04-08 540
3D 目标检测是自动驾驶的重要任务之一，传统方法通常依赖于 LiDAR 点云数据。然而，LiDAR 设备昂贵且数据处理复杂，因此基于相机的 3D 目标检测逐渐成为研究热点。，它直接在 3D 空间中进行目标查询，并结合多视角 2D 图像特征进行检测，无需深度预测或点云数据。为了解决这些问题，本文提出了一种新的基于 Transformer 的多相机 3D 目标检测方法——
BEV (3)---DETR3d
weixin_42454048的博客
05-16 2785
①. 利用Resnet101 + fpn提取6张环视图像特征，获得1/4, 1/8, 1/16, 1/32, 4个不同尺度的输出(②. 预设900个预测框（object_querys）， 拆分object query为query和query_pos, 利用全连接处理query_pos获得BEV空间3D reference point (x， y， z)的预测结果。
(BEV论文精读1)DETR3D: 3D Object Detectionfrom Multi-view Images via 3D-to-2D Queries
qq_55794606的博客
09-02 1516
本文的主要贡献如下：我们提出了一种基于RGB图像的简化3D物体检测模型。与现有工作在最终阶段结合来自不同相机视角的物体预测不同，我们的方法。据我们所知，这是首次尝试将多摄像头检测视为3D集合到集合的预测。我们引入了一个模块，。该方法不会受到次级网络中不准确深度预测的影响，并通过反投影3D信息到所有可用帧上，无缝利用多个摄像头的信息。类似于Object DGCNN [11]，我们的方法不需要后处理步骤，例如每张图像或全局的非极大值抑制（NMS），并且在性能上与现有基于NMS的方法相当。
DETR3D论文精读
2301_77102499的博客
08-07 1239
我们的方法从一个稀疏的对象先验集开始，在数据集中共享并端到端学习。比伪点云方法有一个明显的提升 伪点云存在一个深度估计不准的问题 DETR3D 一定程度上避免了深度误差不准的影响。2.进行一个补齐，不能随便给一个值，是使用空集进行一个补全，这样我们就得到一个等量集合。3.用fli去做当前Object Queries的预测 通过这样的迭代优化的过程(，是一种常用的目标检测后处理技术，用于抑制重叠度较高的检测框以保留最准确的目标框。，是目标检测任务中常用的评价指标，表示检测算法在不同类别上的平均准确率。
花了一天在新pc上调通了mmdetection3d和detr3d的代码环境
晚秋garden
10-05 333
我的电脑基本上是一个全新的ubuntu主机（除了minecraft之外没有任何生产力环境，总算是要开始务正业了），所以从头开始。个人使用的电脑环境：志强2790v3，nvidia 1050ti，4G显存，24G内存，ubuntu20.04。到这里应该算是趟通了detr3d的环境和代码了，后面的时间就可以用来结合学习资料进行比较仔细的研读了。没想到运气比较好，显存刚刚好够，但是计算核心不够多，资源拉爆了，但能跑起来了，能看。换了别的版本也没用，还好锁页内存不是核心功能，只是影响效率，把这个功能关掉。
【Head-DETR系列（5）】DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries
Hali_Botebie的博客
09-18 1389
我们介绍了一种用于多相机3D目标检测的框架。现有方法一般直接从单目图像估计3D包络框，或使用深度预测网络从2D信息生成3D目标检测任务的输入，而我们的方法直接在3D空间中进行预测。我们的模型从多张相机图像中提取2D特征，然后使用一组稀疏的3D目标查询来索引这些2D特征，使用相机变换矩阵来建立3D位置和多视图像之间的联系。最后，我们的模型对每个目标查询预测一个包络框，使用一个set-to-set的损失来衡量预测结果和真值之间的差异。
DETR3D：将DETR用于3D目标检测任务
3D视觉工坊
11-11 4283
作者 | 慕弋云子@知乎（已授权）原文 | https://zhuanlan.zhihu.com/p/430198800编辑 | 南山本文只用作学术讨论。转载需联系原作者。前几天被导师...
DETR3D：三维目标检测的新星
gitblog_00061的博客
04-25 840
DETR3D：三维目标检测的新星 项目地址:https://gitcode.com/gh_mirrors/de/detr3d 项目简介 是一个基于Transformer架构的开源三维目标检测框架，由清华大学计算机系研发。该项目旨在为自动驾驶、室内定位、无人机导航等领域提供高效且精准的三维物体识别解决方案。 技术解析 DETR式设计 DETR3D借鉴了二维目标检测器DETR（Direct Encod...
BEV感知：DETR3D
Hanze的博客
02-21 1610
在这篇paper，作者提出了一个更优雅的2D与3D之间转换的算法在自动驾驶领域，它不依赖于深度信息的预测，这个框架被称之为DETR3D。这个方法主要是为了葱多视角获取 scene-specific information，作者把首先生成3D的query，生成3d reference point，通过相机参数矩阵投影到2D拿到相应的2D feature。我们提出了一个基于RGB图像进行3D目标检测的改进模型。
DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries
SugerOO的博客
07-15 1263
本文提出了一个 仅使用 2D 信息的，3D 目标检测网络，并且比依赖与 密集的深度预测 或者 3D 重建的过程。类似于 DETR 的 set to set 的 loss，在 decoder 的每一个 layer 后面都有 loss 的计算。长久以来 3D目标检测是一个挑战，并且 仅使用 2D 的图像信息（RGB图像），相比于 3D 信息（LiDAR）更加困难。本文提出了一个更加优雅的 2D 观察到 3D预测的过渡，用于自动驾驶任务，该方法不依赖于 密集的深度预测模块。
论文翻译：《DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries》
Sual
10-19 7275
DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries   这篇论文的四个作者分别来自麻省理工学院、丰田研究院、卡耐基梅隆大学、理想汽车，最近被CORL 2021接收。 论文链接：https://export.arxiv.org/abs/2110.06922 官方开源代码：https://github.com/WangYueFt/detr3d Abstract   我们介绍了一种用于多相机3D目标检测的框架。现
【DETR用于3D目标检测】DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries
梁瑛平的博客
07-23 1507
本文介绍了一个用于多摄像机三维目标检测的框架。现有的工作是直接从单目图像中估计三维边界框，或使用深度预测网络从二维信息中生成三维目标检测的输入，与此不同，本文的方法直接在三维空间中操作预测。 DETR3D 从多个相机图像中提取二维特征，然后使用一组稀疏的 3D 对象查询来索引到这些二维特征中，使用摄像机转换矩阵将 3D 位置链接到多视图图像，然后对每个对象查询进行边界框预测，使用集合到集合的损失来测量地面真实值和预测之间的差异。...
论文精读：《DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries》
zyw2002的博客
12-09 7561
我们介绍了一个多摄像机三维目标检测（multi-camera 3D object detection）的框架。与现有的直接从单目图像中估计三维边界盒或利用深度预测网络从二维信息中生成用于三维目标检测的输入相比，我们的方法直接在三维空间中处理预测。具体流程：我们的架构从多个摄像机图像中提取2D特征，然后使用稀疏的3D对象查询集索引到这些2D特征中，使用摄像机变换矩阵将3D位置链接到多视角图像。最后，我们的模型对每个对象查询进行包围盒预测，使用集到集的损失来度量真实框和预测之间的差异。
DETR3D笔记
qq_42250207的博客
07-20 2253
2、对于尺寸的建模不是特别好，比如在gt中有个车是很长的，在预测结果中车相对而言是很短的，产生这样尺寸差异的原因是什么呢？DETR3D是可以利用重复特征去预测的，3D reference point对多视角分别投影，比如一个reference point投影回视角1的时候投影到重叠区域了，拿一次特征，投影回视角2的时候又投影到这个重叠区域了，又拿一次特征，是可以通过多视角特征进行融合的，所以对于重叠区域，DETR3D的检测融合的是多视角的特征，相比单一视角的检测而言，性能自然是有明显提升的。
自动驾驶-BEV检测篇三：DETR-3D
weixin_50206562的博客
06-15 2280
（1）DETR3D是DETR2D的一个改进版，主要通过初始化一个3D的object query，将其投影到2D像素平面上和不同视角图像特征进行交互，来预测3D物体的位置。（2）和LSS、BEVdet等一系列基于深度估计的BEV方案完全不同。（3）BEVformer可以看成DETR3D的改进版，是DETR3D和BEV方案的结合产物，个人感觉是介于DETR3D和自上而下的BEV方案的中间产物。
DETR3D onnx
02-27
### 将DETR3D模型转换为ONNX格式 为了将DETR3D模型转换成ONNX格式，可以遵循类似的流程，该过程通常涉及使用PyTorch的`torch.onnx.export()`函数。此方法允许指定输入张量形状以及任何其他必要的参数以适应特定于DETR3D的需求。 ```python import torch from detr3d.models import build_detector # 假设这是DETR3D模型构建方式 from mmcv.runner import load_checkpoint from mmdet.core import bbox2result config_file = 'path/to/config/file' checkpoint_path = 'path/to/checkpoint' # 构建模型并加载权重 model = build_detector(config_file) load_checkpoint(model, checkpoint_path) dummy_input = torch.randn(1, 3, 640, 640) # 输入尺寸取决于具体配置 output_onnx = 'detr3d_model.onnx' input_names = ["image"] output_names = ['pred_logits', 'pred_boxes'] dynamic_axes = {'image': {0: 'batch_size'}, 'pred_logits': {0: 'batch_size'}, 'pred_boxes': {0: 'batch_size'}} torch.onnx.export( model, dummy_input, output_onnx, input_names=input_names, output_names=output_names, dynamic_axes=dynamic_axes, opset_version=11 )[^1] ``` 这段代码展示了如何定义一个虚拟输入(`dummy_input`)用于导出操作，并指定了动态轴使得批处理大小可以在推理期间变化。注意这里假设了具体的输入输出名称和维度；实际应用中可能需要调整这些设置来匹配DETR3D的具体实现细节[^1]。 一旦成功地将模型保存为`.onnx`文件之后，就可以利用像ONNX Runtime这样的工具来进行高效推理： ```python import onnxruntime as ort import numpy as np session = ort.InferenceSession('detr3d_model.onnx') outputs = session.run(None, {"image": np.random.rand(1, 3, 640, 640).astype(np.float32)}) print(outputs) ``` 上述脚本初始化了一个新的ONNX运行时会话对象，并调用了`run()`方法执行前向传递计算给定测试图像作为输入的数据流图。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值