大语言模型开车上路：让自动驾驶像人类一样思考！

最新推荐文章于 2025-07-28 00:00:26 发布

深蓝学院

最新推荐文章于 2025-07-28 00:00:26 发布

阅读量926

点赞数 17

CC 4.0 BY-SA版权

文章标签：语言模型自动驾驶人工智能

本文链接：https://blog.youkuaiyun.com/soaring_casia/article/details/145211381

导读
这是一篇探讨如何让自动驾驶系统更像人类驾驶员的研究论文。作者从一个核心观点出发：现有的基于优化的自动驾驶系统在处理长尾场景时存在根本性的局限。为了解决这个问题，作者提出自动驾驶系统应该像人类一样，通过持续驾驶来积累经验，并运用常识来解决问题。论文确定了实现这一目标所需的三个关键能力：推理、解释和记忆。作者通过在HighwayEnv环境中构建闭环系统，展示了大语言模型在驾驶场景中的应用可行性。实验结果表明，大语言模型展现出令人印象深刻的推理能力和解决长尾案例的潜力。

©️【深蓝AI】编译

论⽂题目：Drive Like a Human: Rethinking Autonomous Driving with Large Language Models

论文作者：Daocheng Fu, Xin Li, Licheng Wen, Min Dou, Pinlong Cai, Botian Shi

论文地址：https://ieeexplore.ieee.org/abstract/document/10495699

文章背景

假设你在停车线前等红灯，这时一辆装载着交通锥的皮卡车从前方路口驶过。作为人类驾驶员，你可以运用常识推理出这些交通锥只是皮卡车上的货物，道路并未在施工。然而，这种对人类驾驶员来说轻而易举的判断，对很多现有的自动驾驶（AD）系统来说却是棘手的长尾场景。虽然自动驾驶开发人员可以通过制定特定规则或收集更多关于车载交通锥（而非地面交通锥）的数据来避免突然制动，但当系统遇到相反情况 - 真正标记禁区的地面交通锥时，这种处理方式又会失效。这就像解决一个问题的同时又会带来新的问题，在现实世界中存在着无数甚至超出我们想象的罕见场景。正是基于这种认识，作者认为传统的基于优化和模块化的自动驾驶系统面临着根本性的性能瓶颈。

作者重新思考了自动驾驶的发展路径，并通过图1清晰地展示了为什么基于优化的传统自动驾驶系统在面对开放世界的挑战时会遇到困难。虽然基于优化理论构建的系统可以方便地将复杂的自动驾驶任务分解为一系列子任务，但在面对复杂场景时，优化损失函数的过程往往会陷入局部优化，这限制了系统的泛化能力。引入更多的数据（图中绿色箭头）只能减小当前模型（绿色椭圆）与基于优化方法的最大容量（蓝色椭圆）之间的性能差距。这主要是因为优化过程倾向于学习数据中的主导模式，而往往忽视了不频繁出现的长尾问题。如果没有融入常识（蓝色箭头），模型的能力（蓝色椭圆）就无法得到实质性的提升。此外，在持续的数据收集过程中总是会出现新的未知长尾场景。