DriveBench：VLM在自动驾驶中真的可靠吗？（ICCV‘25）

最新推荐文章于 2025-12-21 19:01:45 发布
转载 最新推荐文章于 2025-12-21 19:01:45 发布 · 111 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247674504&idx=1&sn=7be8e0155caa73d4594e7cf166f59819&chksm=cf398d7cfe5e31f3e5a7d4b60f5aac2bb08fb4284dfb3975d740f0806a74843ecb78be1d8ad1&scene=126&sessionid=0
文章标签：

#自动驾驶 #人工智能 #机器学习

部署运行你感兴趣的模型镜像

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近30个方向学习路线

>>直播和内容获取转到 → 自动驾驶之心知识星球

点击按钮预约直播

视觉语言模型（VLM）的最新进展激发了人们将其应用于自动驾驶的兴趣，尤其是通过自然语言生成可解释的驾驶决策。然而关于VLM是否能为驾驶提供基于视觉的、可靠的且可解释的解释，这一假设在很大程度上尚未得到验证。为填补这一空白，我们推出了DriveBench，这是一个基准数据集，旨在评估VLM在17种设置下的可靠性，包含19,200帧、20,498个问答对、三种问题类型、四种主流驾驶任务以及总共12个流行的VLM。

自动驾驶之心很荣幸邀请到加州大学尔湾分校在读博士生 - 谢少远，为大家分享介绍这篇ICCV 2025中稿的DriveBench。一个专为自动驾驶设计的视觉语言模型(VLMS)基准测试框架，旨在评估VLMs在不同环境和任务下的可靠性。DriveBench涵盖感知、预测、规划和行为四大核心任务，并引入 15种OoD类型，以系统性测试VLMs 在复杂驾驶场景中的可靠性。今天上午十一点，锁定自动驾驶之心直播间，我们不见不散~

论文标题：Are VLMs Ready for Autonomous Driving? An Empirical Study from the Reliability, Data, and Metric Perspectives

论文链接：https://arxiv.org/abs/2501.04003

项目链接：https://drive-bench.github.io/

更多精彩回顾

插入视频号视频

🚀 直播精华看不够？完整版深度内容已独家上线知识星球「自动驾驶之心」！涵盖所有技术细节、QA及未公开彩蛋。深度解析！

复旦BezierGS：利用贝塞尔曲线实现驾驶场景SOTA重建~

清华&博世开源SOTA性能纯血VLA：Impromptu-VLA告别双系统~

清华&吉利Challenger框架：自动驾驶对抗场景高效生成~

干货满满，快来加入

END

您可能感兴趣的与本文相关的镜像

Qwen3-VL-8B

Qwen3-VL-8B

图文对话
Qwen3-VL

Qwen3-VL是迄今为止 Qwen 系列中最强大的视觉-语言模型，这一代在各个方面都进行了全面升级：更优秀的文本理解和生成、更深入的视觉感知和推理、扩展的上下文长度、增强的空间和视频动态理解能力，以及更强的代理交互能力

ICCV‘25开源 | 新一代自动驾驶标配视觉语言大模型？DriveBench全面揭示视觉语言大模型在退化图像下的「幻觉」问题！
3D视觉工坊
07-04 79
DriveBench 的研究发现当前 VLMs 在视觉信息缺失或受损情况下仍能生成“合理”但缺乏视觉支撑的回答，暴露出数据偏差和评估指标的局限性。为提升 VLMs 在自动驾驶中的可信度，研究提出 Robust Agentic Utilization（RAU） 框架，利用 VLMs 的OoD感知能力，引导外部去噪模型增强感知稳健性。本次分享介绍 DriveBench，一个专为自动驾驶设计的视觉语言模型（VLMs）基准测试框架，旨在评估VLMs在不同环境和任务下的可靠性。研究方向为AI安全，自动驾驶。
51c自动驾驶~合集47
whaosoft~aiotの开发板商城
01-19 1927
我自己的原文哦~ https://blog.51cto.com/whaosoft/13083194性能爆拉30%！英伟达：时空一致下的生成重建大一统新方案~从自车的驾驶轨迹中生成真实的视觉图像是实现自动驾驶模型可扩展训练的关键一步。基于重建的方法从log中生成3D场景，并通过神经渲染合成几何一致的驾驶视频，但它们对昂贵标注的依赖限制了它们在野外驾驶场景中的泛化能力。另一方面，生成模型可以以更通用的方式合成动作条件驾驶视频，但往往难以保持3D视觉的一致性。本文介绍了DreamDrive，这是一种结合生成
自动驾驶超视距VLA如何实现？小鹏NavigScene另辟蹊径！
CV_Autobot的博客
09-05 93
自动驾驶系统在基于局部视觉信息的问答（Q&A）、感知、预测和规划方面已取得显著进展，然而，它们在融入人类驾驶员日常利用的更广泛的导航上下文信息方面仍存在困难。(Navigation-guided Preference Optimization)：一种强化学习方法，它扩展了直接偏好优化（DPO），通过建立对导航相关信息摘要的偏好关系，来改进视觉语言模型的响应；NavigScene 是一个辅助性的、由导航引导的自然语言数据集，它在自动驾驶系统内部仿真了一个类人化的驾驶环境。导航引导的视觉-语言-动作模型。
FSD v14里面藏了VLA吗？谁在定义自动驾驶下一代方案：VLA vs WA的一场深入探讨......
CV_Autobot的博客
11-17 345
研究成果主要集中在目标检测、跟踪，从2019年到2024年专注于智能驾驶算法的开发，主导过多个行车和泊车量产项目的落地。今天自动驾驶之心将为大家带来一场重量级的智驾圆桌，汇聚学术界和工业界的多元观点。这一场圆桌将围绕VLA、世界模型展开极其深入而全面的讨论，包括世界模型和VLA的各种形态，在产业界落地的进展和结合二者的可能性。会谈及近期特斯拉，理想在ICCV发表的技术报告，DriveVLA-W0和世界模型的技术讨论等等。11月17日晚，一场关于自动驾驶世界模型和VLA的深度探讨！地平线HSD实车表现亮眼。
自动驾驶大模型方案：视觉语言模型VLM工作一览，面向量产和研究~
CV_Autobot的博客
08-07 619
点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近30个方向学习路线视觉语言模型（Vision-Language Model, VLM） 正以其独特的跨模态理解与推理能力，成为赋能下一代自动驾驶系统的关键引擎。VLM的核心在于打通视觉与语言之间的壁垒，让自动驾驶不仅能“看见”道路，更能像人类一样“理解”场景、意图并进行深层次的推理。在自动驾驶的复杂环境中，VLM展现出强大的应用潜力：环境感知与深度理解： VLM能够超越传统视觉模型，结合相机图像或视频流，理解交通场景中的语义信息。例如，它不仅能
从DriveVLA-W0出发：探讨世界模型如何放大VLA的扩展定律（中科院）
CV_Autobot的博客
11-04 111
为验证DriveVLA-W0的通用性，本文在两种主流VLA架构上展开验证：针对采用离散视觉token的VLA模型，设计自回归世界模型；在自动驾驶领域，通过大规模数据来扩展视觉-语言-动作模型，为构建更通用的驾驶智能提供了一条充满前景的道路。关键在于，它放大了数据Scaling Law的效果，表明随着训练数据集规模的增大，性能提升速度会加快。"的问题：其庞大的模型能力仅由稀疏、低维的动作信号进行监督，导致其大部分表征潜力未能得到充分利用。为解决此问题，中科院和华为引望的团队提出了 DriveVLA-W0，
学术和量产的分歧，技术路线的持续较量！从技术掌舵人的角度一览智驾的十年路....
CV_Autobot的博客
10-15 126
主要研究领域为人工智能与模式识别，研究方向为多模态大模型与自动驾驶，近年来在TPAMI、CVPR、ICCV、ECCV、ICLR等国际顶级期刊及会议上发表相关论文50余篇，其中以第一作者/共同第一作者发表论文20篇（包括TPAMI论文3篇、CVPR/ICCV/ECCV论文17篇），谷歌学术引用2700余次。聚焦自动驾驶发展的这十年，我们特别邀请了四位业界顶尖大佬，共同回顾行业的技术里程碑，深入探讨世界模型与VLA的技术路线之争，并分享对L3级自动驾驶在产学研不同视角下的深刻洞察。>>直播和内容获取转到 →。
AI Day直播 | “像素级完美”深度感知，NeurIPS高分论文解密
CV_Autobot的博客
11-05 58
为此，本文设计了语义引导的扩散 Transformer（SP-DiT），在扩散过程中引入来自视觉基础模型的高层语义特征作为提示，有效增强了模型对全局结构的把握与细节恢复能力。然而，现有的深度估计方法普遍存在边缘飞点（Flying Pixels）问题，而这会导致机器人执行决策时候，引发错误动作；）虽然能通过像素分布建模保留更多细节，但依赖 Stable Diffusion 的 VAE 压缩，仍会损失结构锐度与几何保真度，产生大量飞点。）由于回归损失的平滑倾向，容易在深度突变处产生平均化预测，导致边缘飞点；
自动驾驶基于VLM/VLA多模态模型的智能驾驶系统设计：视觉语言动作融合技术在场景理解与决策规划中的应用
09-28
内容概要：本文系统介绍了视觉语言模型（VLM）与视觉语言行动模型（VLA）的技术原理、架构及其在自动驾驶领域的应用与发展。文章从“端到端”自动驾驶范式出发，对比了VLM和VLA的技术演进路径，阐述了VLM通过融合...
结合 open-r1 并引入 vlm 强化自动驾驶微调项目
08-16
结合open-r1并引入vlm强化自动驾驶微调项目，意味着在这个项目中，研究者们将open-r1框架与vlm模型进行融合，旨在通过这种先进的技术结合，进一步提高自动驾驶系统的理解和处理能力。项目的目的在于让自动驾驶车辆...
闲下来了，深受启发，结合open-r1与引入vlm 强化对自动驾驶进行微调项目
08-16
在实际应用中，VLM能够帮助自动驾驶系统更准确地识别路标、交通信号、行人以及其它车辆等关键元素，进一步提升系统的判断和决策能力。例如，在复杂的城市交通环境中，VLM能够帮助系统识别道路标线、红绿灯的变化以及...
精选资源
VLM-AD：基于视觉语言模型监督的端到端自动驾驶
06-09
这一特点使得VLM-AD能够在不需要复杂配置或额外资源的情况下，更便捷地集成到现有的自动驾驶系统中，从而提高自动驾驶的实际操作效率和安全性。 VLM-AD通过引入视觉语言模型作为训练中的辅助监督，不仅提升了自动...
自动驾驶—CARLA仿真（19）automatic_control demo
zfjBIT的专栏
12-19 602
本文介绍了一个基于CARLA的自动驾驶代理演示系统，该系统集成了三种不同级别的自动驾驶代理（Basic/Constant/Behavior），能够自动规划路径并控制车辆行驶。系统包含完整的HUD信息显示、传感器管理和交互控制功能，支持多种驾驶风格和传感器配置。该实现为研究人员和开发者提供了开箱即用的自动驾驶测试平台，可直接用于高级行为策略或感知-决策融合研究，无需从零实现底层路径规划和控制逻辑。
UniAD：面向规划的端到端自动驾驶统一框架
m0_65010824的博客
12-17 1004
本文是对论文《Planning-oriented Autonomous Driving》的深度解读。在自动驾驶领域，传统模块化或多任务框架存在误差累积、负迁移等问题，上海 AI 实验室等团队提出 UniAD 框架，以规划为核心导向，整合五大驾驶任务，通过统一查询接口实现任务协同，在 nuScenes 基准上全面超越现有方案，为端到端自动驾驶提供新范式。
自动驾驶—CARLA仿真（20）manual_control demo
zfjBIT的专栏
12-19 935
摘要： 该Python脚本是CARLA仿真平台中功能完备的手动驾驶控制客户端，支持完整的车辆操控（油门/转向/灯光等）、多传感器融合（RGB/激光雷达/雷达等）和环境动态调控（天气/地图图层）。核心模块包括： World类管理仿真环境与传感器系统 KeyboardControl实现真实车辆交互逻辑 Ackermann控制器提供高精度转向模型 HUD系统实时显示15+项车辆状态 14种传感器支持多模态数据可视化 录制回放功能保障实验可复现性 适用于自动驾驶算法测试、传感器调试和数据采集，是CARLA官方推荐的
自动驾驶—CARLA仿真（25）synchronous_mode demo
zfjBIT的专栏
12-16 362
摘要： 该Python脚本演示了CARLA仿真环境中多传感器同步采集与可视化的实现方法。核心模块包括： CarlaSyncMode：通过上下文管理器确保RGB摄像头与语义分割摄像头数据严格同步，自动对齐仿真帧； 简化路径跟踪：车辆通过路点系统自动移动（非物理模拟）； 图像融合显示：将语义分割结果以半透明形式叠加到RGB图像上，使用CityScapes调色板着色； 性能监控：实时显示仿真与渲染FPS。适用于多模态感知算法验证和教学演示，提供约30FPS的稳定数据流。 （149字）
自动驾驶大模型---香港科技大学之DSDrive
智能汽车人的博客
12-17 1533
本篇博客主要介绍了香港科技大学提出的DSDrive自动驾驶方案，主要还是依赖QWen多模态模型的能力，属于VLA那一派，但DSDrive是基于闭环测试做的实验，目前基于闭环实验的自动驾驶大模型很少，这一点还是值得肯定的。至于模型的输入，输出以及结构，差别不是特别大，DSDrive还用了一个蒸馏，和理想小鹏的有些相似，确保模型部署能够提升推理的实时性。
中国首块L3级自动驾驶专用正式号牌诞生，落户长安深蓝
最新发布
qq_15113419的博客
12-21 62
12月20日，首块L3级自动驾驶专用正式号牌“渝AD0001Z”在重庆诞生。
自动驾驶VLA和VLM
08-15
### VLA与VLM的核心区别 在自动驾驶领域，VLM（视觉-语言模型）和VLA（视觉-语言-动作模型）代表了两种不同层次的技术架构。VLM主要关注于环境建模，即通过视觉和语言信息对周围环境进行理解和描述。它能够识别道路、障碍物、交通标志等关键元素，并结合自然语言处理能力对场景进行语义层面的解析。例如，VLM可以理解“前方有行人过马路”这样的描述，并将其转化为对环境的认知[^1]。 相比之下，VLA则是在VLM的基础上进一步扩展，不仅关注环境建模，还涵盖了路径规划和控制策略的生成。VLA模型能够直接从视觉输入和语言指令中提取特征，并生成具体的车辆控制指令，如转向、加速或减速。这意味着VLA不仅仅是在“看懂”环境，更是在“行动”，即根据对环境的理解做出实时的决策和控制[^2]。 ### 技术应用与落地情况 在实际应用中，VLM已经被广泛用于自动驾驶系统的感知模块，帮助车辆更好地理解复杂的交通环境。例如，通过结合多模态大语言模型（MLLMs），VLA能够利用模型的世界知识分析驾驶环境，在复杂场景中进行安全决策的推理。这种方式不仅简化了系统架构，还减少了信息传递过程中的损失，提高了整体系统的效率和可靠性[^2]。 而VLA作为VLM的升级版本，正在成为自动驾驶领域的研究热点。相比于传统的端到端方案，VLA方案拥有更高的场景推理能力与泛化能力。许多智驾行业的领导者都将VLA视为当前“端到端”方案的2.0版本，并将其看作是端到端+VLM的合体。VLA的优势在于其能够通过强化学习形成“思维能力”，自主处理新场景（如未知路况），从而实现更高效的城区自动驾驶支持[^3]。 ### 技术发展趋势 随着自动驾驶技术的不断进步，VLA和VLM的应用也在不断发展。VLM在环境建模方面的表现已经非常出色，但其主要局限在于无法直接生成控制指令，需要与其他模块配合使用。而VLA则通过引入语言模态，实现了从感知到决策再到控制的全流程自动化，极大地提升了系统的智能化水平。 未来，随着深度学习和强化学习技术的进一步成熟，VLA有望在更多复杂场景中发挥作用，尤其是在城区自动驾驶领域。通过不断优化模型结构和训练方法，VLA将能够更好地应对各种突发情况，提高自动驾驶的安全性和可靠性。 ### 示例代码：VLA的基本工作流程 以下是一个简化的VLA工作流程示例，展示了如何从视觉输入和语言指令中生成控制指令： ```python import torch from transformers import CLIPProcessor, CLIPModel class VLA: def __init__(self): self.clip_model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32") self.clip_processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32") self.controller = torch.nn.Linear(512, 3) # 输出控制指令：转向、加速、刹车 def process_input(self, image, text): inputs = self.clip_processor(text=text, images=image, return_tensors="pt", padding=True) outputs = self.clip_model(**inputs) image_features = outputs.image_embeds text_features = outputs.text_embeds combined_features = torch.cat((image_features, text_features), dim=1) control_commands = self.controller(combined_features) return control_commands # 示例使用 vla = VLA() image = "path_to_image.jpg" # 假设这是车辆摄像头捕捉到的图像路径 text = "前方有行人过马路，请减速慢行" # 语言指令 control_commands = vla.process_input(image, text) print(f"生成的控制指令: {control_commands}") ``` 这段代码展示了VLA如何利用CLIP模型提取图像和文本的特征，并通过一个简单的线性层生成控制指令。虽然这只是一个简化的示例，但它体现了VLA的基本工作原理[^2]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值