A Survey on Multimodal Large Language Models for Autonomous Driving

最新推荐文章于 2025-06-05 23:03:11 发布
最新推荐文章于 2025-06-05 23:03:11 发布
阅读量598 收藏
点赞数 4
CC 4.0 BY-SA版权
分类专栏： Survey Paper 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/135216358
Survey Paper 同时被 2 个专栏收录
275 篇文章 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
LLM 日更
828 篇文章

已下架不支持订阅

本文深入探讨了大型语言模型（LLM）和多模态语言模型（MLLM）在自动驾驶领域的应用，分析了MLLMs的发展、自动驾驶的历史，以及在驾驶、运输和地图系统中的工具。研究总结了LLVM-AD研讨会，提出了未来该领域需要解决的关键问题，为研究人员提供了丰富的资源，以推动MLLMs在自动驾驶中的进步。

本文是LLM系列文章，针对《A Survey on Multimodal Large Language Models for Autonomous Driving》的翻译。

自动驾驶多模态大语言模型研究综述

摘要

随着大型语言模型（LLM）和视觉基础模型（VFM）的出现，受益于大型模型的多模态人工智能系统有可能像人类一样感知现实世界、做出决策和控制工具。近几个月来，LLM在自动驾驶和地图系统中得到了广泛关注。尽管其潜力巨大，但仍缺乏对LLM驾驶系统应用的关键挑战、机遇和未来努力的全面了解。在本文中，我们对这一领域进行了系统的研究。我们首先介绍了多模态大语言模型（MLLMs）的背景、使用LLM的多模态模型开发以及自动驾驶的历史。然后，我们概述了用于驾驶、运输和地图系统的现有MLLM工具以及现有的数据集和基准。此外，我们总结了第一届WACV自动驾驶大型语言和视觉模型研讨会（LLVM-AD）的工作，这是第一次关于自动驾驶中LLM的研讨会。为了进一步推动这一领域的发展，我们还讨论了在自动驾驶系统中使用MLLMs需要学术界和工业界共同解决的几个重要问题。论文集可以在Awesome Multimodal LLMAutonomous Driving找到。

1 引言

2 自动驾驶的发展

3 多模态语言模型的发展

4 自动驾驶的多模态语言模型

5 数据集和基准

6 LLVM-AD研讨会总结

了解本专栏 订阅专栏 解锁全文 超级会员免费看
A Survey on Multimodal Large Language Models
c_cpp_csharp的专栏
07-04 1431
多模态大语言模型（MLLM）是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。MLLM令人惊讶的新兴能力，如基于图像写故事和无OCR的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。在本文中，我们旨在追踪和总结MLLM的最新进展。首先，我们提出了MLLM的公式，并阐述了其相关概念。然后，我们讨论了关键技术和应用，包括多模式指令调整（M-IT）、多模式上下文学习（M-ICL）、多模态思想链（M-CoT）和LLM辅助视觉推理（LAVR）。
【综述论文阅读】A Survey on Multimodal Large Language Models 上
weixin_46231495的博客
03-04 1182
综述又来啦，这篇综述24年的，来自1 中国科大科技学院、认知智能国家重点实验室2 腾讯优图实验室并建立了github项目指令（Instruction）是指任务的描述。直观来看，指令微调的目标是教会模型更好地理解用户的指令并完成所要求的任务。通过这种方式，LLM可以通过遵循新指令泛化到未见过的任务，从而提升零样本性能。
A Survey on Multimodal Large Language Models论文解读
qq_61786525的博客
10-13 2055
指令：指任务的描述。指令调整目的：教导模型更好地理解用户指令并完成要求任务，从而使模型能够通过遵循新指令来泛化到未见任务，提高零样本性能。与相关学习范式比较：与监督式微调和提示工程相比，指令调整学习如何泛化到未见任务，而不是拟合特定任务。对齐调整通常用于需要模型与特定人类偏好对齐的场景，例如减少幻觉（hallucinations）的响应。目前，强化学习与人类反馈（RLHF）和直接偏好优化（DPO）是对齐调整的两种主要技术。
【论文阅读】A Survey on Multimodal Large Language Models
qq_58400270的博客
10-22 1784
多模态大语言模型（MLLM）是近年来以强大的大语言模型（LLM）作为大脑任务的多模态研究热点。MLLM令人惊讶的涌现能力，比如基于图像写故事和无ocr的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。本文旨在对MLLM的最新研究进展进行跟踪和总结。首先，我们提出了MLLM的公式，并描述了它的相关概念。然后，我们讨论了关键的技术和应用，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和llm辅助视觉推理（LAVR）。
论文阅读：LLM4Drive: A Survey of Large Language Models for Autonomous Driving
最新发布
m0_53605808的博客
06-05 1317
自动驾驶技术作为推动交通和城市出行变革的催化剂，正从基于规则的系统向数据驱动策略转变。传统的模块化系统受限于级联模块间的累积误差和缺乏灵活性的预设规则。相比之下，端到端自动驾驶系统因其完全数据驱动的训练过程有望避免误差累积，但其 “黑箱” 特性往往导致透明度不足，使得决策的验证和追溯复杂化。最近，大型语言模型（LLMs）已展现出上下文理解、逻辑推理和生成答案等能力。一个自然的想法是利用这些能力为自动驾驶赋能。
a survey on multimodal large l
03-14
一篇重要的综述文章《A Survey on Multimodal Large Language Models for Autonomous Driving》详细探讨了这一领域的进展及其挑战[^2]。该文章不仅涵盖了自动驾驶技术的发展历程，还分析了多模态语言模型如何逐步...
A Survey on Multimodal Large Language Models综述
机器学习，深度学习
07-16 1798
近期，以GPT-4V为代表的跨模态大型语言模型（MLLM）成为研究热点，它利用强大的大型语言模型（LLM）作为大脑执行跨模态任务。MLLM展现出如基于图像创作故事、OCR-free数学推理等令人惊讶的能力，这在传统跨模态方法中极为罕见，预示着通往通用人工智能的潜在路径。为此，学术界和产业界都在努力开发能与GPT-4V竞争甚至更好的MLLM，以惊人的速度推动研究极限。本文旨在追踪和总结MLLM的近期进展。
【多模态LLM】A Survey on Multimodal Large Language Models 学习笔记
kaka03200的博客
09-11 1049
多模态大语言模型（MLLM）是近年来以强大的大语言模型（LLMs）作为大脑任务的多模态研究热点。MLLM令人惊讶的涌现能力，比如基于图像写故事和无OCR的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。本文旨在对MLLM的最新研究进展进行跟踪和总结。首先，我们提出了MLLM的公式，并描述了它的相关概念。然后，我们讨论了关键的技术和应用，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和大语言模型辅助视觉推理（LAVR）。
大型语言模型综述，非常详细，格局打开！A Survey of Large Language Models
大模型天花板
04-18 9532
从图灵测试开始讲起，人类一直在探索用机器掌握语言智能的方法。在过去20年，语言模型得到了广泛研究。从统计语言模型到了基于神经网络的语言模型（LSTM等）。最近这些年，通过在大规模语料库（数据集）上对Transformer模型的预训练，提出了预训练语言模型（PLMs），在解决各种自然语言处理（NLP）任务方面显示出了很强的能力。
论文阅读-《A Survey of Large Language Models》
Yogurtboyyy的博客
06-08 2267
LLM综述论文
多模态大语言模型综述来啦！一文带你理清多模态关键技术
夕小瑶科技说
06-30 1350
随着 ChatGPT 在各领域展现出非凡能力，多模态大型语言模型（MLLM）近来也成为了研究的热点，它，可以执行各种多模态任务。更让人感慨的是，，比如能够根据图像创作故事，无需 OCR 的数学推理等，这为实现人工智能的通用智能提供了一条潜在路径。也不乏有全面和前沿的综述出现，本文作者的目标是追踪和总结 MLLM 的最新进展。介绍了 MLLM 的并对相关概念概述，还深入讨论了。同时，他们也指出了当前研究中，并提出了一些有前景的。
中科大腾讯发布首篇《多模态大语言模型综述》
我爱计算机视觉
06-28 1506
关注公众号，发现CV技术之美项目链接(实时更新最新论文，已获1.8K Stars)：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models近来，多模态大语言模型(Multimodal Large Language Model，MLLM)受到广泛关注，成为一个新兴的研究热点。MLLM通常以大语言模型(Large Lang...
全面了解多模态大语言模型 Multimodal Large Language Models，首个跟踪 MLLM 进展的论文集合...
我爱计算机视觉
06-02 2371
关注公众号，发现CV技术之美论文集合链接地址：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models大语言模型 Large Language Models（LLM）强大的泛化和推理能力给计算机视觉领域带来了很多灵感和启发，从而开辟出多模态大语言模型 Multimodal Large Language Models（ML...
【论文解读系列】MLLM研究综述
JackCrum的博客
07-02 1986
多模态大语言模型(Multimodal Large Language Model, MLLM)是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。MLLM令人惊讶的突发能力，如基于图像编写故事和无ocr数学推理，在传统方法中是罕见的，这表明了人工通用智能的潜在途径。在本文中，我们旨在追踪和总结最近的进展mllm。首先，我们提出了传销营销的概念，并对其相关概念进行了描述。
自动驾驶合集7
whaosoft143ai的博客
01-12 961
在自动泊车系统当中，可以使用GPS或者车辆自带的IMU传感器来确认车辆的速度和姿态并且纠正车辆的位置估计误差。但是在某些室内场景，是无法接收到GPS信号的。所以自动驾驶车辆就需要配备相机、激光雷达以及毫米波雷达进行辅助。下图是车辆上配备的一些传感器信息的介绍。激光雷达传感器使用激光来检测物体。现在主要流行的激光雷达主要分为16、32、64和128线的激光雷达。其测量范围约为200米，垂直视场为30到50度。相机传感器则可以大致分成单目、双目以及鱼眼类型。whaosoft aiot http://143ai.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值