自动驾驶是否一定需要语言模型？

作者 | 咖啡鱼 来源 | 焉知汽车

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近30个方向学习路线

>>自动驾驶前沿信息获取→自动驾驶之心知识星球

本文只做学术分享，如有侵权，联系删文

一、自动驾驶的路线分野：WEWA 与 VLA 的技术博弈

2025 年成为自动驾驶技术架构的关键分水岭：以华为乾崑智驾 ADS 4 为代表的WEWA 架构（世界引擎 + 世界动作模型），与以理想、小鹏等企业竞逐的VLA 架构（视觉 - 语言 - 动作模型）形成鲜明对立。华为靳玉志表示，走 VLA 技术路线的企业，认为现在大家是通过 Open AI 等各种语言大模型，把网上的信息学了一遍以后，将语言、所有的学习转换成 LM 的方式掌握知识。这样的路径看似取巧，其实并不是走向真正自动驾驶的路径。

图 华为WEWA架构发布，来自网络

这场争论的核心直指 “大语言模型（LLM）是否为自动驾驶的必需品”——WEWA 以 “去语言化” 实现高效落地，VLA 则以语言模型为核心追求认知智能，二者的路径选择折射出行业对技术效率与智能深度的不同权衡。

二、WEWA 与 VLA 的本质区别：语言模块是否物有所值

两种架构在信息处理逻辑、核心组件与技术目标上存在根本性差异，集中体现在对 “语言中介” 的态度上，我们对比如下：

维度	WEWA 架构（华为）	VLA 架构（Wayve / 理想 / 小鹏）
核心逻辑	视觉直接映射动作，跳过语言转化环节	视觉 - 语言 - 动作三级传导，语言为核心中介
关键组件	云端世界引擎（WE）+ 车端世界动作模型（WA）	视觉编码器 + 大语言模型 + 策略控制模块
信息处理路径	传感器数据→视觉特征→控制指令	传感器数据→视觉 Token→语言语义→控制指令
技术核心	虚拟沙盘训练的端到端动作映射	多模态对齐的语言化推理能力
代表指标	端到端时延降低 50%，重刹率降低 30%	复杂场景决策准确率提升，支持自然语言交互

具体而言，WEWA 通过云端虚拟沙盘（世界引擎）对海量驾驶数据进行预训练，将学习到的场景 - 动作映射直接固化到车端世界动作模型中，实现 “感知即决策” 的高效闭环。这种架构有点类似于“教师WE--学生WA”架构，本质是对传统端到端技术的优化升级，通过云端算力规避车端复杂计算，最终在车端实现轻量化执行。 

而 VLA 则遵循 “具身智能” 的认知逻辑，将视觉编码器提取的环境特征（如道路标线、行人状态）转化为 “视觉 Token”，再与语言模型的语义知识进行对齐融合 —— 例如将 “无信号路口左转遇来车” 的场景转化为 “需减速让行” 的语言化推理，最终通过策略模块生成控制指令。英国 Wayve 公司的 LINGO-1 模型甚至能通过语言解释车辆决策，打破传统端到端系统的 “黑箱” 困境。

三、语言模型的算力代价大

VLA 架构对大语言模型的依赖，带来了难以回避的算力开销问题，成为其量产落地的核心瓶颈： 

1. 硬件成本的指数级攀升 

VLA 的算力需求贯穿训练与推理全流程：训练阶段，小鹏启动的 720 亿参数自动驾驶基座模型，需千卡级 GPU 集群支持多模态数据对齐；推理阶段，即使是 7B-13B 参数的轻量化语言模型（如 LLaMA2、Qwen），也需车规级高算力芯片（如 Orin-X 200TOPS 以上）才能保证实时响应。相较之下，WEWA 将大部分计算转移至云端，车端仅需执行预训练好的动作模型，硬件成本可降低。 

2. 推理时延的不可控风险

语言模型的语义处理过程会引入额外时延：视觉特征转化为语言 Token、语言模型进行上下文推理、语义指令转化为控制参数，这三级转换使端到端时延比 WEWA 高出近一倍。在高速避障、路口抢行等毫秒级决策场景中，这种时延可能导致安全风险 —— 而 WEWA 的直接映射架构恰好在时延控制上具备天然优势。 

3. 边缘计算的适配难题

自动驾驶需在车端完成实时决策，但车辆的算力、功耗、散热条件均受限制。VLA 架构中，语言模型的持续运行会占用可观的车端算力，导致感知模块的帧率下降、传感器数据处理延迟，尤其在多车交互等复杂场景中，可能引发算力分配失衡。

四、语言模型的核心价值：语言能把把巨量场景抽象为一句话

尽管算力成本高昂，VLA 架构的兴起仍源于语言模型带来的场景抽象能力与认知智能跃升，这正是 WEWA 等 “去语言化” 架构不具备的。

语言的高度抽象能力可以把成千上万的类似场景压缩成一句话。所谓抽象，本质是归类，用对一类场景的描述来涵盖这一类中数不清的个例。所以数学和软件工程中都特别强调抽象就在于此---根本不可能枚举所有个例。

允许笔者模仿《未来简史》作者拉瓦赫里的笔法来解释一下语言的抽象能力。几千万年前稀树草原上一个原始人一边狂奔一边大喊“狮子来了”。他没有说清楚来的是公狮子还是母狮子，是来了一只还是来了一群，是吃饱了的悠闲狮子还是饥肠辘辘的狮子，等等，都没说清楚，具体场景可以说可能有几十几百种可能性。但是都抽象成了一句话，狮子来了。其它原始人的反应都很一致，爬到最高的树上去。

对自动驾驶是一样的，“左侧有车加塞”这一句抽象，不管是大车加塞还是小车还是电动车，不管是白天黑夜雨天晴天，本车按照语言模型指示都是立即减速。而对没有语言模型的自动驾驶架构，这些具体场景可能都要分别考虑。

一句话，语言可以对巨量场景进行压缩处理。

通俗的讲完了，以下我们用更正式的语言来描述语言模型的优势。

1. 跨场景的知识迁移能力 

大语言模型通过预训练积累的人类常识，能为自动驾驶注入 “类人推理” 能力。例如在环形交叉路口遇到故障车辆时，LLM 可通过 “故障车辆需避让”“环岛优先通行规则” 等语言化知识，快速决策绕行路径；而 WEWA 需依赖该场景的历史训练数据，对未见过的长尾场景适应性较弱。这种抽象能力使 VLA 能处理 “3000 万个样本都无法覆盖” 的罕见场景。

2. 多模态信息的统一表征 

语言作为通用语义载体，能将视觉信号、导航指令、人类语音等异构信息纳入同一推理框架。当用户发出 “前方施工区请缓慢通过” 的语音指令时，VLA 可通过语言模型将指令与摄像头捕捉的 “锥桶排列” 视觉特征对齐，生成协调的减速策略；而 WEWA 需为每种交互场景单独设计规则，扩展性极差。

3. 决策的可解释性与安全性

语言模型能将抽象决策过程转化为自然语言输出，例如解释 “减速原因是识别到行人横穿马路”，这使自动驾驶系统从 “黑箱” 变为 “可沟通的智能体”。这种可解释性不仅有助于工程师定位问题，更能提升用户对系统的信任度，为 L3 及以上高阶自动驾驶的商业化奠定基础。 

五、核心权衡是抽象优势能否抵消算力消耗？

现在到底是有语言模型和没有语言模型更优，当然是没有定论，否则也不会出现两大流派了。但可以肯定的是，自动驾驶并非一定需要大语言模型，其必要性取决于技术发展阶段与应用场景的需求优先级，核心是在 “效率 - 智能” 坐标系中找到最优平衡点： 

1. 短期量产场景：算力消耗压倒抽象优势

在 L2-L3 级辅助驾驶的量产落地中，WEWA 架构更具现实价值。这类场景以结构化道路为主，场景多样性有限，WEWA 的低时延、低成本优势能直接转化为用户体验的提升（如通行效率提升 20%）。此时 VLA 的抽象能力属于 “过剩智能”，其算力成本远超实际收益 —— 对于城市 NOA 等成熟场景，语言模型带来的边际价值不足以覆盖硬件与能耗的额外投入。

2. 长期高阶场景：抽象优势成为刚需

当自动驾驶迈向 L4-L5 级完全自动驾驶，进入非结构化道路、复杂人机交互等场景时，VLA 的认知优势将不可替代：在未铺装道路遇到临时路障时，LLM 的常识推理能力；在接收到 “避开积水区域” 的自然语言指令时，多模态对齐能力；在处理 “行人挥手示意” 等模糊场景时，语义理解能力 —— 这些均是 WEWA 等无语言架构难以突破的瓶颈。此时，随着车规级算力芯片的成本下降（如 4nm 工艺普及），语言模型的算力消耗将逐渐可控，其抽象价值将成为核心竞争力。

3. 未来趋势：混合架构或成折中方案 

行业已出现 “取二者之长” 的技术融合迹象：华为在 WEWA 架构中预留 “语义接口”，可按需接入轻量化语言模型；小鹏则通过 “模型蒸馏” 将 720 亿参数基座模型压缩为车端可运行的小模型。这种 “基础功能去语言化保证效率，高阶功能语言化提升智能” 的混合模式，可能成为化解算力与智能矛盾的最终方向。 

自动驾驶加不加语言模块完全要看语言模型的发展，也就是它的性价比，它带来的抽象优势（也就是把海量彼此类似的场景压缩为一句话）作为分子，对比它的算力开销和时延作为分母，这个比值划不划算，分子是否大于分母。

大语言模型并非自动驾驶的 “必需品”，而是 “高阶智能的催化剂”。在量产落地的现实需求下，WEWA 的 “去语言化” 路线更具效率优势；但在追求完全自动驾驶的技术终极目标中，VLA 所依赖的语言模型抽象能力，是实现 “类人驾驶智能” 的不可逾越阶段。这场路线之争的本质，并非技术对错的判定，而是行业在 “当下可行性” 与 “未来可能性” 之间的理性选择 —— 随着算力成本的降低与模型效率的提升，语言模型的抽象优势很可能终将跨越算力消耗的门槛，成为高阶自动驾驶的核心支柱。

自动驾驶之心

论文辅导来啦

自驾交流群来啦！

自动驾驶之心创建了近百个技术交流群，涉及大模型、VLA、端到端、数据闭环、自动标注、BEV、Occupancy、多模态融合感知、传感器标定、3DGS、世界模型、在线地图、轨迹预测、规划控制等方向！欢迎添加小助理微信邀请进群。

知识星球交流社区

近4000人的交流社区，近300+自动驾驶公司与科研结构加入！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（大模型、端到端自动驾驶、世界模型、仿真闭环、3D检测、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎加入。

独家专业课程

端到端自动驾驶、大模型、VLA、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频

学习官网：www.zdjszx.com