DETR3D论文精读

最新推荐文章于 2025-06-08 11:06:16 发布
最新推荐文章于 2025-06-08 11:06:16 发布
阅读量1.2k 收藏 15
点赞数 27
文章标签： 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2301_77102499/article/details/140998677
版权

1.概括

优点: 我们提出了一种性能更好的的自动驾驶的二维观测和三维预测之间的转换，它不依赖于密集深度预测的模块。 我们的框架DETR3D以自上而下的方式解决了这个问题。 通过几何反投影和摄像机变换矩阵，将二维特征提取和三维目标预测联系起来。 我们的方法从一个稀疏的对象先验集开始，在数据集中共享并端到端学习。不需要任何后处理，如非最大抑制(NMS)，提高效率和减少重复手工设计的方法清洗其输出。

2.框架

2.1 总体预览

  • 核心动机: 从3D到2D构建BEV空间，物体要什么我们拿什么，并不需要全部的BEV空间特征
  • 主体结构: 利用3d object query 进行一个2d image feature查询

核心：并没有完整的表示出整个BEV空间，不需要完整的构建BEV空间，而是一种稀疏表示，效率较高

2.2 输入与输出

  • 输入：Multi-view lmages withCamera Extrinsics &intrinsics （多视角图像）

  • 输出：3D 检测边界框

2.3 图像处理网络

最低0.47元/天 解锁文章
【论文精读CVPR_2023】Face Transformer: Towards High Fidelity and Accurate Face Swapping
zik的博客
01-08 1477
【Paper】【Code暂无】这项工作的贡献是三重的。首先\textit{首先}首先，我们设计了 Face-Transformer，这是一个创新网络，通过将 Transformer 引入到换脸任务中来实现精确的换脸。转换器学习源面部和目标面部之间的语义感知对应关系，这有助于从源面部到目标面部的特征顺利转移。据我们所知，这是第一个为换脸任务引入 Transformer 架构的工作。第二\textit{第二}第二。
DETR3D论文解析
butterflies_的博客
04-08 538
3D 目标检测是自动驾驶的重要任务之一，传统方法通常依赖于 LiDAR 点云数据。然而，LiDAR 设备昂贵且数据处理复杂，因此基于相机的 3D 目标检测逐渐成为研究热点。，它直接在 3D 空间中进行目标查询，并结合多视角 2D 图像特征进行检测，无需深度预测或点云数据。为了解决这些问题，本文提出了一种新的基于 Transformer 的多相机 3D 目标检测方法——
【Head-DETR系列（5）】DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries
Hali_Botebie的博客
09-18 1389
我们介绍了一种用于多相机3D目标检测的框架。现有方法一般直接从单目图像估计3D包络框，或使用深度预测网络从2D信息生成3D目标检测任务的输入，而我们的方法直接在3D空间中进行预测。我们的模型从多张相机图像中提取2D特征，然后使用一组稀疏的3D目标查询来索引这些2D特征，使用相机变换矩阵来建立3D位置和多视图像之间的联系。最后，我们的模型对每个目标查询预测一个包络框，使用一个set-to-set的损失来衡量预测结果和真值之间的差异。
论文精读：《DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries》
zyw2002的博客
12-09 7548
我们介绍了一个多摄像机三维目标检测（multi-camera 3D object detection）的框架。与现有的直接从单目图像中估计三维边界盒或利用深度预测网络从二维信息中生成用于三维目标检测的输入相比，我们的方法直接在三维空间中处理预测。具体流程：我们的架构从多个摄像机图像中提取2D特征，然后使用稀疏的3D对象查询集索引到这些2D特征中，使用摄像机变换矩阵将3D位置链接到多视角图像。最后，我们的模型对每个对象查询进行包围盒预测，使用集到集的损失来度量真实框和预测之间的差异。
DETR3D 论文学习
calvinpaean的博客
05-21 1757
对于低成本自动驾驶系统，仅凭视觉信息进行 3D 目标检测是非常有挑战性的。目前的多相机 3D 目标检测方法有两类，一类直接对单目图像做预测，没有考虑 3D 场景的结构或传感器配置。这类方法需要多步后处理，融合不同相机输出的预测结果，去除冗余边框。另一类方法则使用了 3D 重建，从图像信息构造 pseudo-LiDAR 数据或场景的深度信息，然后应用 3D 目标检测方法。但是这类方法会面临复合性错误，若深度信息估计错了，则 3D 目标检测就会很受影响。
3D目标检测入门论文: CaDDN, DETR3D
wxq的博客
05-14 814
[CVPR2021] Projecting Your View Attentively: Monocular Road Scene Layout Estimation via Cross-view Transformation 概要 transform the front-view monocular image to the top-view road layout 提出cross-view transformation module，利用视图之间的关系和cycle consistency加强视图变换
论文翻译：《DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries》
Sual
10-19 7275
DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries   这篇论文的四个作者分别来自麻省理工学院、丰田研究院、卡耐基梅隆大学、理想汽车，最近被CORL 2021接收。 论文链接：https://export.arxiv.org/abs/2110.06922 官方开源代码：https://github.com/WangYueFt/detr3d Abstract   我们介绍了一种用于多相机3D目标检测的框架。现
【读论文】深度学习重要论文精读（图像领域）
Vehicle_jyw的博客
09-03 1071
通过对一系列论文的回顾与重读，即使泛泛而读，也深知近些年来视觉领域变化之快，而很多三四年前的工作，我至今才开始精度理解，属实惭愧；尝试在阅读过程中闭目思考，结合如今的认知，很多东西的发展也并非一蹴而就，都是普通人有迹可循的，但如何讲好故事，做好实验，让别人理解，其中有大学问；泛读了行业内近些年的主流论文，下面会结合具体的任务或者更进一步的方向做进一步探索，希望能渐渐赶上发展的方向，做到胸中自有丘壑；
【论文阅读】Exploring Object-Centric Temporal Modeling for Efficient Multi-View 3D Object Detection
weixin_55982578的博客
08-06 697
query 级别的时许融合
【论文笔记】ViP3D: End-to-end Visual Trajectory Prediction via 3D Agent Queries
weixin_45657478的博客
04-20 1338
【论文笔记】ViP3D: End-to-end Visual Trajectory Prediction via 3D Agent Queries
(BEV论文精读1)DETR3D: 3D Object Detectionfrom Multi-view Images via 3D-to-2D Queries
qq_55794606的博客
09-02 1513
本文的主要贡献如下：我们提出了一种基于RGB图像的简化3D物体检测模型。与现有工作在最终阶段结合来自不同相机视角的物体预测不同，我们的方法。据我们所知，这是首次尝试将多摄像头检测视为3D集合到集合的预测。我们引入了一个模块，。该方法不会受到次级网络中不准确深度预测的影响，并通过反投影3D信息到所有可用帧上，无缝利用多个摄像头的信息。类似于Object DGCNN [11]，我们的方法不需要后处理步骤，例如每张图像或全局的非极大值抑制（NMS），并且在性能上与现有基于NMS的方法相当。
论文阅读笔记：(2021.10 CoRL) DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries
chaoqinyou的博客
04-19 802
论文地址：DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries | OpenReviewWe introduce a framework for multi-camera 3D object detection. In contrast to existing works, which estimate 3D bounding boxes directly from monocular images or use de
CVPR2021 | DETR3D:3D Object Detection from Multi-view Images via 3D-to-2D Queries论文翻译
usernameisnotexist的博客
03-14 1252
我们介绍了一种多摄像头三维物体检测框架。与直接从单目图像估算三维边界框或使用深度预测网络从二维信息生成三维物体检测输入的现有工作相比，我们的方法直接在三维空间中操作预测。我们的架构从多个摄像头图像中提取二维特征，然后使用稀疏的三维物体查询集对这些二维特征进行索引，利用摄像头变换矩阵将三维位置与多视角图像联系起来。最后，我们的模型对每个物体查询进行边界框预测，并使用集对集损失来衡量地面实况与预测之间的差异。
MonoDETR: Depth-guided Transformer for Monocular 3D Object Detection 论文解读
ZauberC的博客
08-31 2328
单目目标检测在自动驾驶领域，一直是一个具有挑战的任务。现在大部分的方式都是沿用基于卷积的2D 检测器，首先检测物体中心，后通过中心附近的特征去预测3D属性。但是仅仅通过局部的特征去预测3D特征是不高效的，且并没有考虑一些长距离的物体之间的深度关系，丢失了很多的有意义的信息。在本作中，作者介绍了一种基于DETR框架的用于单目检测的网络。作者通过对原始的transformer网络进行改造，加入了以深度为引导的transformer结构。作者将此网络结构命名为MonoDETR。
【DETR3D】3D目标检测
Srlua的博客
12-12 754
通过3D到2D查询从多视图图像中进行3D对象检测
DETR3D：将DETR用于3D目标检测任务
3D视觉工坊
11-11 4283
作者 | 慕弋云子@知乎（已授权）原文 | https://zhuanlan.zhihu.com/p/430198800编辑 | 南山本文只用作学术讨论。转载需联系原作者。前几天被导师...
计算机视觉——相机标定
m0_72748751的博客
06-07 961
⋆。
基于RT-DETR算法的夜间交通车辆与行人目标检测
最新发布
crasher123的博客
06-08 651
RT-DETR是深度学习领域中最新的一项突破，它结合了Transformer模型和卷积神经网络（CNN），能够高效、精确地进行目标检测，尤其在低光照条件下表现尤为突出。随着智能交通系统（ITS）的发展，实时、高效的交通监控成为了城市安全管理的重要一环。尤其是在夜间，低光照、复杂天气条件等因素使得传统的目标检测算法面临巨大的挑战，如何在夜间环境中准确地识别车辆和行人，成为智能交通系统中亟待解决的痛点。数据集包含了大量在夜间复杂光照和天气条件下拍摄的交通图像，并对每一张图像中的车辆、行人等目标进行了详细标注。
DETR3D onnx
02-27
### 将DETR3D模型转换为ONNX格式 为了将DETR3D模型转换成ONNX格式，可以遵循类似的流程，该过程通常涉及使用PyTorch的`torch.onnx.export()`函数。此方法允许指定输入张量形状以及任何其他必要的参数以适应特定于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值