【论文阅读】【多传感器融合】TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers

最新推荐文章于 2025-06-27 10:22:48 发布
原创 最新推荐文章于 2025-06-27 10:22:48 发布 · 1.9k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#目标检测 #3d #计算机视觉

论文介绍了一种名为TransFusion的方法，针对3D对象检测，通过Transformer结合lidar和camera数据，提出软连接策略，提高鲁棒性。文章比较了现有融合方法的不足，并借鉴DETR架构进行优化，尤其关注query初始化和融合模块的crossattention设计。结果表明在复杂场景下表现出良好性能。

论文标题：TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers

CVPR2022
现存的Lidar-Camera融合的方法：主要分为三类：result-level，proposal-level以及point-level
result level是这么做的：首先用现成的2d检测器来生成3dproposals,然后用pointnet来进行物体定位。（FPointNet/RoarNet）
proposal level是这么做的：融合在proposal阶段，通过对于两个模态的信息进行roi pool操作进行融合。但是这种方法的效果不理想，主要是在image会引入很多的背景噪声点，这是我们不希望得到的。（MV3D、AVOD）
point level则是尝试在点层面进行融合，在lidar点云和pixel像素之间建立硬连接，然后进行concat拼接。
这么做有什么不好的地方呢？
首先这样做很大程度地收到image质量的影响。其次硬链接是一对一的连接，这样浪费了很多pixel的丰富的语义信息，同时还需要很精准的calibration。
本文要讲这么一个故事：怎么设计一个鲁棒的检测器来进行两种信息域信息的软连接？
老规矩 上图！
在这里插入图片描述

query initialization

整篇文章的架构很像DETR和3DETR，没有看过的朋友可以先看一下这两篇文章。收到efficient DETR的启发，给定query一个精准的定位，相比随机的参数初始

最低0.47元/天 解锁文章
TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers总结
qq_43456497的博客
02-09 1313
现状：激光雷达（LiDAR）和相机是自动驾驶中3D物体检测的两个重要传感器。问题：尽管传感器融合在该领域日益普及，但对较差的图像条件（如恶劣的照明和传感器未对准）的鲁棒性不足。现有的融合方法很容易受到这些条件的影响，主要是由于校准矩阵建立的激光雷达点和图像像素的硬关联。
【论文阅读】[CVPR2022]TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers
热门推荐
m0_58702532的博客
04-05 1万+
(1)当前面临的问题是什么以及原因？ 虽然sensor fusion在该领域越来越受欢迎，但是对劣质图像(inferior image)条件鲁棒性不好，（例如照明不佳和传感器未对准），现有的融合方法很容易受到这些条件的影响，主要是由于calibration matrices建立的 LiDAR points和image pixels的硬关联(hard association)。 注 ：calibration matrices标定矩阵：用于校准相机和LiDAR (2)作者提出的解决问题的方法 作者.
多模态融合2022|TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers
Rolandxxx的博客
03-24 9062
论文题目：TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers 会议：CVPR2022 单位：香港科技大学，华为 1.摘要+intro 作者认为目前的坑是在point-wise级的融合，之前方法存在两个主要问题，第一，它们简单地通过逐个元素相加或拼接来融合LiDAR特征和图像特征，因此对于低质量的图像特征，例如光照条件较差的图像，这样融合的性能会严重下降。第二，稀疏的LiDAR点与密集的图像像素之间
TransFusion-Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers
qq_30035663的博客
04-16 3918
学习来自华为的一篇CVPR，3d目标检测、激光雷达+图像融合，Transformer。
TransFusion:Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers 论文笔记
weixin_45657478的博客
08-17 1639
TransFusion:Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers 论文笔记
TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers
m0_64483459的博客
10-18 599
具体来说，我们设计了一种使用两个变压器解码器层作为检测头的顺序融合方法。据我们所知，我们是第一个使用激光雷达相机3D检测变压器。我们的第一个解码器层利用一组稀疏的对象查询来从激光雷达特征中生成初始边界框。与2D中独立于输入的对象查询不同[2,44]，我们使对象查询依赖于输入和类别感知，从而使查询具有更好的位置和类别信息。接下来，第二个转换器解码器层自适应地融合对象查询与空间和上下文关系相关的有用图像特征。我们通过空间约束初始边界框周围的交叉注意来利用局域归纳偏差，以帮助网络更好地访问相关位置。
【三维感知目标检测论文阅读】《TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers》
最新发布
weixin_42479402的博客
06-27 704
ransFusion提出了一种基于Transformer的鲁棒LiDAR-相机融合3D目标检测方法。针对传统硬关联融合方法对图像质量和标定误差敏感的问题，该方法通过两个序贯的Transformer解码层实现软关联：第一层利用LiDAR特征生成初始3D框，第二层通过空间调制交叉注意力(SMCA)自适应融合图像特征，使模型能智能选择有用视觉信息。实验表明，该方法在nuScenes数据集上表现优异，尤其在夜间、图像缺失和传感器未对齐情况下展现出更强鲁棒性。
CVPR2022-TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers
zyrant丶的博客
04-20 1354
PS：转载自我的知乎
点云检测之TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers
Blabala的博客
06-03 2245
多模态融合在自动驾驶领域越来越受欢迎，但是针对劣质图像时（照明不良、传感器未校准）鲁棒性不好，由于通过相机标定矩阵建立的 Lidar 和像素的硬关联，很难解决这种问题。本文提出了 TransFusion，使用软关联机制来处理较差的图像条件。TransFusion使用一种软关联机制 (soft-association) 代替以往融合方法中的硬关联机制，通过这种新的机制使得算法在图像质量退化和传感器没有严格对齐的情况下能更加鲁棒。同时 Image Guidance利用高分辨率的图像提高检测小物体的能力。
【学习笔记】TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers
weixin_53805563的博客
11-26 1130
首先是TransFusion的总体结构现有的基于硬关联的图像-点云融合方法很容易受到和的影响，这是因为在点云稀疏的部分，硬关联只能获取和点云数量一样少的像素数量，浪费了了高分辨率图像纹理和丰富语义信息的优势，更不用说还存在配准不佳，点云完全落在对应像素之外的情况。文章提出的TransFusion由特征提取主干和基于Transformer解码器的检测头组成，实现图像和点云的软关联，模型可以自行选择图像中提取的特征部分。下图是一个恶劣图像条件和由于点云的稀疏导致图像特征浪费的例子。
多传感器数据融合在汽车领域的应用 文献翻译
07-14
环境感知系统在智能汽车中的应用有望提高道路交通的安全性。众所周知的环境感知传感器有雷达，激光或视觉传感器等，它们能够使汽车检测路上的威胁，预计出现危险的驾驶情况并采取主动行为避免碰撞。除了汽车传感器系统中的多传感器融合，复杂的信号处理和传感器数据融合策略对整个系统的可用性和稳定性具有非常重要的意义。在本文中，我们考虑原始传感器的数据融合（低层次）和预处理测量点（高层次）的数据融合方法。我们对传感器配置、道路交通情景、数据融合样式和信号处理算法进行建模研究并且通过离散事件模拟将传感器数据对结合到不同抽象层次上的多传感器系统进行性能研究。
TransFusion论文笔记
qq_44820499的博客
07-07 878
论文名称：TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers。
【论文阅读】【三维目标检测】Camera-Lidar融合的3D目标检测网络
麒麒哈尔的博客
11-18 1650
Camera-LiDAR based 3D object detection
CVPR 2022 | TransFusion：用Transformer进行3D目标检测的激光雷达-相机融合
阿木寺的博客
07-03 6775
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：花椒壳壳|已授权转载（源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/485971924论文标题：TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers...
上篇：Fusion of LiDAR 3D Points Cloud with 2D Digital Camera Image/3D点云与2D数字图像的融合
计算机小白的博客
04-30 8881
这是一篇硕士毕业论文，论文题目是《Fusion of LiDAR 3D Points Cloud with 2DDigital Camera Image》，论文很长共80页，但是吧，毕业论文嘛，都要为了凑字数，所以有些话比较啰嗦。写这篇博文的目的并不是为了翻译这篇论文，而是理清其中的思路。废话不多说啦，直接进入正题。 论文主要从3个部分来阐述，分别是： （1）RANGE SENSOR AND CAMERA （2）EXTRINSIC CALIBRATION OF LIDAR AND CAMERA
TransFusion论文复现
AaXyi的博客
05-24 534
网络上关于TransFusion论文的复现好像不太多，最近需要复现，所以绕了挺多弯路，现在处于边做边写的状态。所以复现了多少就写多少。关于题主的相关硬件如下：CPU：8352V。
【多模态融合】TransFusion学习笔记(1)
10-03 4501
工作上主要还是以纯lidar的算法开发,部署以及系统架构设计为主。对于多模态融合(这里主要是只指Lidar和Camer的融合)这方面研究甚少。最近借助和朋友们讨论论文的契机接触了一下这方面的知识，起步是晚了一点，但好歹是开了个头。下面就借助TransFusion论文及其开源代码来串一串这方面的知识。这个很好理解，参考FPointNet网络图示。就是利用现有的2D检测器在图像上提取2D初始框，根据Camera成像原理，捕获2D框视锥内的点云，再利用点云分类模型(如:PointNet)做进一步分类。
TransFusion | 基于Transformer的多模态融合算法（CVPR2022）
CV_Autobot的博客
08-04 7951
作者|zyrant 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/502087587点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取后台回复【多模态综述】获取论文！后台回复【ECCV2022】获取ECCV2022所有自动驾驶方向论文！后台回复【领域综述】获取自动驾驶全栈近80篇综述论文！1关键词：CVPR202...
# 速览多模态模型 Transfusion 和 Show-o：用 Transformer + 扩散模型同时处理文本和图像
python1234_的博客
09-09 1838
此前多模态模型都只是强行把图像变成离散图像词元，再用标准自回归来生成图像词元。为了改进这些多模态模型，无独有偶，Transfusion 和 Show-o 都用到了更先进的图像生成技术。Show-o 将标准自回归改成了更强大的掩码自回归，而 Transfusion 激进地引入了完整的图像扩散模型，并把文本生成和图像生成当成两个相对独立的任务。
TransFusion：鲁棒激光雷达-相机融合3D物体检测新方法
"TransFusion是一种基于Transformer的深度学习模型，设计用于实现鲁棒的激光雷达-相机融合的3D物体检测。该方法解决了现有融合技术在恶劣图像条件下的局限性，如光照不佳和传感器错位，通过引入软关联机制增强融合的...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值