最新综述！一文详解自动驾驶中的多模态融合感知算法

最新推荐文章于 2025-07-06 22:16:24 发布
转载 最新推荐文章于 2025-07-06 22:16:24 发布 · 1k 阅读 · 11 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247525854&idx=3&sn=93eda5428713e1381d32e64ef4b3f955&chksm=ceb84817f9cfc101d2c0afe59e7b45b0d491d642cb6ccde639f8325e9b3cdd7676cd647a441e&scene=126&sessionid=0

本文探讨了多模态3D目标检测的热点，包括数据级、特征级和目标级融合，以及不对称和弱融合策略。这些方法利用图像、激光雷达、毫米波雷达和双目深度数据提升ADAS系统的检测精度。加入“自动驾驶之心知识星球”获取更多专业内容。

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

多模态3D目标检测是当前3D目标检测研究热点之一，主要是指利用跨模态数据提升模型的检测精度。一般而言，多模态数据包含：图像数据、激光雷达数据、毫米波雷达数据、双目深度数据等，今天就带大家盘盘领域内的相关内容。所有内容均出自『自动驾驶之心知识星球』，欢迎加入获取更多干货！

综述

d8317f170d42b18f1ff2915119088874.png

f3e37c6a31f8632d0c2847dc86d31c41.png

数据级融合

65ed1def2d597280c9b88ee810505bdb.png

特征级融合

648e5ffa95f71d74e158ca0c9f7895a0.png

8a89188294f80af170c116a435d54034.png

目标级融合

823e47bd111c6675e194930dd3a7289e.png

不对称融合

05a121ffd6c2c50b5bf4125f5fdc0554.png

弱融合

a50d2329dd166a88ff4977cc29ff85e6.png

欢迎大家扫码加入自动驾驶之心知识星球，一起学习一起卷！

96d7b58562c257284cffeb77fcf39b90.jpeg

任何疑问欢迎联系汽车人助理，备注方向+昵称：

ceb225343992d56ceaecdfdf90c0ac98.jpeg

一文搞清楚多模态模型CLIP（Contrastive Language-Image Pretraining）是什么！
女王の专属领地
11-08 1951
CLIP通过对比学习突破传统视觉模型的局限，实现了图像与文本的深度融合，成为多模态AI领域的里程碑。其零样本能力和跨模态检索特性，为搜索、推荐、生成等场景提供了通用解决方案，但也需在数据质量与计算效率上持续优化。
【自动驾驶】感知融合中的匹配算法
聿默的博客
04-05 949
关于感知融合匹配算法
自动驾驶感知——多传感器融合技术
热门推荐
sinat_52032317的博客
02-08 1万+
自动驾驶系统由环境感知、规划、决策、控制等几个模块组成，其中环境感知需要用到诸如摄像头、毫米波雷达、激光雷达等传感设备来获取周围环境的信息。不同种的传感器有着不同的优势与缺陷，为了使感知层获得的信息更为丰富、准确，通常需要将不同的传感器进行融合。本文着重介绍多传感器融合的概念与相关知识，不具体介绍技术细节。
转载 | 自动驾驶中的9种传感器融合算法
AI 数据库me
06-15 1060
在自动驾驶汽车中，传感器融合这项技术是必不可少的存在，因为它能提供更高的可靠性、冗余性以及最重要的安全性。让我们通过一个例子来更好地理解什么是传感器融合，以利用激光雷达和摄像头进行行人检测为例，如果两个传感器中的一个没有检测到行人，另一个传感器就能作为冗余来增加检测到行人的机会，如果两个传感器都检测到了行人，传感器融合技术则能使我们更准确地知道行人位置。传感器融合实际上就是是在融合传感器收集到的数据，他也可以叫做数据融合，目前一共有3大类9种方法可以构建数据融合算法。一.按抽象级别进行分类 目前最常见的融合
多模态关键任务与应用综述（从表示到融合，从协同学习到关键技术梳理）
weixin_42455006的博客
04-18 1万+
冗余性 和 互补性 是多模态各种特性存在的基础 1.双线性池化 特征融合即输入两个模态的特征向量，输出融合后的向量。最常用的方法是拼接、按位乘、按位加。有些作者认为这些简单的操作效果不如外积/叉乘得tensor，不足以建模两个模态间的复杂关系。但外积计算存在复杂度过高的问题。双线性（Bilinear）就是向量外积的计算。双线性池化（Bilinear Pooling）是对双线性融合后的特征进行池化。 例如LMF（Low-rank Multimodal Fusion），PTP (polynomialtensor
2022最新综述！一文详解自动驾驶中的多模态融合感知算法（数据级/特征级/目标级）...
CV_Autobot的博客
08-04 5230
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取后台回复【多模态综述】获取论文！后台回复【ECCV2022】获取ECCV2022所有自动驾驶方向论文！后台回复【领域综述】获取自动驾驶全栈近80篇综述论文！1简介多模态传感器融合意味着信息互补、稳定和安全，长期以来都是自动驾驶感知的重要一环。然而信息利用的不充分、原始数据的噪声及各个传感器间的错位（如时间戳...
一文详解自动驾驶中的多模态融合感知算法（数据级/特征级/目标级）
CV_Autobot的博客
11-22 1万+
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取>>点击进入→自动驾驶之心【多传感器融合】技术交流群论文作者| 汽车人编辑 | 自动驾驶之心1 简介多模态传感器融合意味着信息互补、稳定和安全，长期以来都是自动驾驶感知的重要一环。然而信息利用的不充分、原始数据的噪声及各个传感器间的错位（如时间戳不同步），这些因素都导致融合性能一直受限。本文全面调研了现有多模态自动驾驶...
详解多模态（红外-可见光图像）目标检测模型SuperYOLO源码，真正搞清代码逻辑！
弗兰-随风小欢的博客
01-09 3853
详解多模态（红外-可见光图像）目标检测模型SuperYOLO源码，真正搞清代码逻辑！
一文详解自动驾驶BEV感知，景联文科技提供数据标注支持
weixin_55551028的博客
10-26 1856
自动驾驶技术的发展需要大量的结构化标注数据对模型进行不断地训练与调优。想要自动驾驶汽车感知系统质量不断提升，这就需要大量高质量的真实自动驾驶感知系统相关的数据做支撑。 数据只有加上了标签才有意义，对于人工智能深度学习来说，数据标注是一个必要的工作，只有依靠大量的高质量标注数据做支撑，才能有效解决自动驾驶深度学习理论上遇到的问题。数据作为AI技术的底层基础，高质量的训练数据越来越受到业界的重视。
一文详解：面向多级多模态场景的召回引擎
阿里文娱技术
06-24 742
优酷的多级多模态搜索引擎（MMS）提供了低延迟的跨模态、跨层级搜索能力，支持大规模多模态的索引。在视频分发、视频创作中都有着十分关键的应用场景。MMS技术在更多的智能交互场景也将发挥更广泛的应用场景。
重磅！多模态大模型首篇综述：从技术演进到未来蓝图，一文吃透MLLM核心脉络
最新发布
weixin_52610848的博客
07-06 1221
从 LLaVA 的图文理解到 Visual ChatGPT 的工具调用，MLLM 正以 “LLM 为脑、多模态为感官” 的架构，重构 AI 与世界交互的方式。尽管当前仍面临感知、推理、效率等挑战，但其在科学发现、医疗诊断、机器人控制等领域的潜力已初现端倪。随着模态融合技术的深化与计算成本的下降，MLLM 有望成为通向人工通用智能（AGI）的关键跳板。
自动驾驶~多模态融合感知算法
whaosoft143ai的博客
11-17 694
然而，只有少数的综述[15, 81]聚焦于多模态融合的方法论本身，并且大多数文献都遵循传统分类规则，即分为前融合、深度（特征）融合和后融合三大类，重点关注算法中特征融合的阶段，无论是数据级、特征级还是提议级。此外，在输入和特征空间的转换过程中，还存在一些其他信息的丢失。多模态融合离不开数据表达形式，图像分支的数据表示较简单，一般均指RGB格式或灰度图，但激光雷达分支对数据格式的依赖度较高，不同的数据格式衍生出完全不同的下游模型设计，总结来说包含三个大方向：基于点、基于体素和基于二维映射的点云表示。
FusionAD：用于自动驾驶预测和规划任务的多模态融合
学习记录
08-28 3037
论文笔记：《FusionAD: Multi-modality Fusion for Prediction and Planning Tasks of Autonomous Driving》
传感器融合与自动驾驶
吴建明wujianming_110117
06-28 997
传感器融合与自动驾驶
自动驾驶-多传感器融合
weixin_66033926的博客
09-08 4937
之前在实习，写一点自动驾驶感知方向的知识点。
自动驾驶中的传感器融合算法
weixin_47151388的博客
04-09 2813
卡尔曼滤波作为一种有效的传感器数据融合算法，在自动驾驶中发挥着重要作用。通过将来自不同传感器的信息融合起来，卡尔曼滤波可以实现对车辆状态和周围环境的准确估计，从而提高自动驾驶系统的感知能力和决策效果。然而，需要注意的是，卡尔曼滤波假设系统的动态模型和观测模型是线性的，并且误差服从高斯分布，因此在处理非线性系统或非高斯噪声时，可能需要考虑其他滤波算法的应用。粒子滤波作为一种强大的传感器数据融合算法，在自动驾驶中发挥着重要作用。
学术最前沿！2024最新深度多模态数据融合综述来袭！
强化学习曾小健
10-12 2851
多模态人工智能 (Multimodal AI) 通常涉及各种类型的数据（例如，图像、文本或从不同传感器收集的数据）、特征工程（例如，提取、组合/融合）和决策。随着架构变得越来越复杂，多模态神经网络可以将特征提取、特征融合和决策过程集成到一个模型中。这些过程之间的界限越来越模糊。融合所基于的传统多模态数据融合分类法（例如，早期/晚期融合）已不再适合现代深度学习时代。编码器-解码器方法注意力机制方法图神经网络方法生成神经网络方法和其他基于约束的方法。大多数现有的。
多模态3D再进化！DeepInteraction++：融合感知算法新SOTA（复旦）
CV_Autobot的博客
08-21 1072
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线今天自动驾驶之心为大家分享复旦大学最新的多模态3D检测工作—DeepInteraction！如果您有相关工作需要分享，请在文末联系我们！自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询>>点击进入→自动驾驶之心『多传感器融合』技术交流群论文作者| Zeyu ...
自动驾驶中的9种传感器融合算法
weixin_55366265的博客
11-27 971
在自动驾驶汽车中，传感器融合是融合来自多个传感器数据的过程。该步骤在机器人技术中是强制性的，因为它提供了更高的可靠性、冗余性以及最终的安全性。为了更好地理解，让我们考虑一个简单的例子，如激...
自动驾驶中的多模态融合感知算法
10-09
自动驾驶中的多模态融合感知算法是指通过整合不同传感器采集到的数据，进行融合处理，从而更全面、准确地感知周围环境，并做出相应的决策。常见的传感器包括摄像头、激光雷达、毫米波雷达等。多模态融合感知算法在实际应用中能够提高自动驾驶系统的安全性和可靠性。 具体来说，多模态融合感知算法的流程包括以下步骤：首先，从不同传感器中获取原始数据；然后，对数据进行预处理和特征提取；接着，使用目标跟踪算法将同一物体在不同传感器中的数据进行关联；最后，采用融合算法整合不同传感器的信息，得到更准确、更完整的环境感知结果。 目前，多模态融合感知算法已经在自动驾驶领域得到了广泛应用。例如，Waymo公司的自动驾驶汽车采用了由激光雷达、摄像头和毫米波雷达组成的传感器套件，并使用多模态融合感知算法实现环境感知和决策。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值