解锁大模型和 AI Agent 在车端的革新应用和落地方法

AI 大模型加速应用，一方面通过对软件工程等辅助开发，提升研发效率和质量；另外一方面则通过在自动驾驶、智能座舱等控制器的端侧部署，为用户带来全新体验。

近年来，人工智能技术的发展进入新阶段，大模型在各行各业掀起了智能化变革浪潮。在汽车领域，人工智能（以下简称 AI）的技术驱动能力完美契合了当下汽车的发展需求，作为新一代智能终端，汽车的智能化发展目前有两大趋势：

• 一是电子电气架构的中央集中，舱驾控三域融合甚至五域（智能座舱、智能驾驶、车身控制、底盘控制与动力控制）融合的中央计算平台已处于预研或上车阶段——其中复杂的域融合，给整个汽车软件的研发效率、质量、扩展性和延续性等带来了诸多挑战，亟需开放式的软件架构支撑。
• 二是 AI 大模型加速应用，一方面通过对软件工程等辅助开发，提升研发效率和质量；另外一方面则通过在自动驾驶、智能座舱等控制器的端侧部署，为用户带来全新体验，这些也对目前的软件架构带来了新的挑战。

一、AI 大模型

人工智能在汽车行业内的应用领域和场景非常广泛，从自动驾驶到车辆维护，从个性化用户体验到安全监控，从生产制造到销售售后，AI 技术正在重塑汽车行业的方方面面。AI 大模型则标志着 “人工智能”从量变走向质变，正以其强大的计算能力和学习能力深刻推动着汽车产业的进步。

1. AI 大模型分类

为了更好地理解大模型的应用背景和潜力，首先需要对大模型的分类有一个清晰的认识。根据处理数据类型的不同，大模型可以分为如下几类：

• 语言大模型：专注于处理和理解自然语言数据，能够执行文本生成、机器翻译、情感分析等任务。
• 视觉大模型：处理图像和视频数据，执行物体检测、图像分类、场景理解等视觉相关的任务。
• 多模态大模型：结合语言、视觉等多种类型的数据，实现跨模态的理解和生成，例如通过图像理解场景并生成描述文字。

根据应用领域不同，大模型可以分为如下几类：

• 通用大模型：设计用于广泛的应用场景，具有较高的灵活性和适应性，但可能在特定领域的专业性上不如垂直大模型。
• 行业大模型：针对特定行业的需求定制，具备较强的通用性和适应性，能够处理多种任务，相当于 AI 成为行业专家。
• 垂直大模型：专注于特定领域或细分市场，具备高专业性和针对性，通常在特定任务上表现更佳，如面向 ASPICE（Automotive Software Process Improvement and Capacity Determination，汽车软件过程改进及能力评估，以下简称 ASPICE）汽车软件架构的汽车软件编码大模型。

2. 汽车行业垂直大模型

目前通用的大模型百花齐放，如 chatGPT、文心一言、通义千问、星火、智谱等，但针对汽车行业的垂直大模型仍然相对较少，主要原因如下：

图 1 中国主流大模型应用选型评估矩阵

（1）高度专业化的需求： 汽车行业对软件的安全性、可靠性和实时性有着极高的要求。这些要求导致汽车软件的开发必须遵循严格的行业标准，如 ASPICE（汽车软件过程改进及能力评估）、ISO26262（道路车辆功能安全）、AU- TOSAR（汽车开放系统架构）等。垂直大模型需要能够理解和适应这些标准，这增加了模型开发的复杂性。

（2）数据获取的高难度： 汽车行业涉及的数据类型多样，包括车辆动力学数据、传感器数据、控制算法等。这些数据往往受到严格管控，互通性低，且还需要在实际车辆上进行测试和验证，直接限制了可用于训练垂直大模型的数据量。

（3）技术和资源的密集性： 构建垂直大模型需要大量的计算资源和专业知识。与科技巨头相比，汽车领域的软件公司在计算资源、 AI 专业人员、大模型开发与实施等方面上存在劣势。

（4）长开发周期和高成本： 汽车软件的开发周期通常较长，且成本较高。这使得企业在投资垂直大模型时更为谨慎，因为需要确保投资能够带来相应的回报。

（5）技术更新迭代快： 汽车行业的技术迭代速度非常快，新的传感器、控制单元和软件架构不断涌现。垂直大模型需要不断更新以适应这些变化，模型的迭代、升级和维护的代价高、难度大。

3. AI 端侧部署

当前，AI 在汽车领域开始积极应用。从早期的研发辅助、到辅助车型设计、供应链管理，AI 都极大的提升了工作效率。目前，随着各厂家对 AI 大模型的进一步研究使用，裁减后的 AI 大模型在端侧部署已成为新的技术趋势。从目前讨论较多的智驾端到端方案再到座舱领域的智慧化交互以及整车的智能体（AI Agent）方案，AI 大模型已开始与开放式软件架构进行融合。

AI 大模型颠覆了以往基于规则进行算法开发的模式，转化为基于数据驱动的新范式。在此结合应用场景将详细探讨相关的技术路线、挑战与演化趋势，旨在为读者带来一些启发。

二、车端应用场景

1. 智能座舱应用

智能座舱系统的特点体现为高算力、中实时（毫秒级）、与车辆行驶安全弱相关，但有强人机交互需求这几方面。其设备端主要包括中控大屏、数字仪表、流媒体后视镜、HUD（车辆平视显示系统）、行车记录仪等。AI 大模型在智能座舱中的应用，不仅能够增强人机交互的自然性和便捷性，还能够提供更加个性化的服务，驱动着座舱系统由智能体进化至智慧体。以下是AI 大模型在智能座舱中的几个典型应用场景：

（1）多模态交互

AI 大模型可以作为智能座舱中语音识别和自然语言处理的核心，使车辆能够理解和响应驾驶员及乘客的语音指令。此外，它还可以结合情境感知，实时分析车外环境信息，比如天气和交通状况，为用户提供智能助手功能，增强交互体验。

（2）个性化智能推荐

利用 AI 大模型对用户行为和偏好的学习，智能座舱可以提供个性化的服务和内容推荐。例如，根据用户的驾驶习惯和常用路线，推荐最优的行车路线；或者根据用户的音乐播放历史，推荐用户可能喜欢的歌曲。同时，系统可以与智能家居联动，在接近家时自动调整家中环境，提升整体生活便利性。

（3）驾驶员行为分析

AI 大模型可以通过分析驾驶员的操作习惯、生理状态（如面部表情、心率等）和驾驶行为，根据综合分析调整车内环境，以提升驾乘体验。此外，可以识别驾驶员的情绪状态，当检测到紧张或焦虑时，系统能够自动播放放松音乐，或根据驾驶员的状态分析，检测疲劳驾驶等情况，从而提高驾驶的安全性。

2. 智能驾驶应用

智能驾驶系统的特点体现为高算力、高实时性（毫秒级，确定时间范围内）、与车辆行驶安全强相关。

（1）传统算法

在智驾的传统顺序方法感知、决策和规控中，AI 大模型应用情况如下：

• 环境感知： AI 大模型通过车载传感器（如摄像头、雷达、激光雷达等）获取车辆周围的环境信息，并对这些信息进行分析和处理，进行周围环境的实时感知，为自动驾驶提供基础数据支持。
• 决策规划： 决策规划环节中，AI 大模型可以根据环境感知获得的信息，结合车辆的状态，制定出最优的行驶策略。即使遇到复杂的交通情况，AI 大模型也能够快速做出合理的决策，提高驾驶的安全性和舒适性。
• 控制执行： AI 大模型可以将决策规划转化为具体的控制指令，控制车辆的加速、减速、转向等操作。通过对车辆动力学模型的学习，AI 大模型可以实现精准的控制执行，提高车辆的操控性能和稳定性。
• 如今在智能驾驶领域，端到端解决方案正逐渐成为主流，这里对端到端技术做详细分析：

（2）端到端大模型算法

端到端是指一端输入传感器数据（例如视频、激光雷达点云等信息），另一端直接输出驾驶决策（例如驾驶动作、驾驶轨迹等）的技术范式。

传统的非端到端算法将任务进行切分，定义多个子任务：地图、定位、感知、预测、决策、规划、控制等子任务负责解决驾驶过程的某些特定问题，这些任务独立开发、独立测试，最终集成到一起完成自动驾驶任务。相比于传统的自动驾驶方案，端到端方案的训练方式能够实现系统的全局最优，使得系统能够获得更好的驾驶效果；避免预设大量的人工规则，系统也更加简洁、模块简单、效率更高；通过数据驱动的方式，不断提升系统上限。

3. 智能车控应用

智能车控包括动力系统、底盘系统、车身系统、电池管理系统、网联控车系统等，其特点体现为高安全、低算力、强实时（微秒级）、与车辆安全行驶强相关。由于车控系统本身对安全的高要求，AI 在车控系统的应用主要还在探索阶段。

（1）动力系统优化： AI 大模型可以根据车辆的实时数据，如发动机转速、负荷、温度等，优化动力系统的控制策略，提高燃油效率和性能。

（2）电池管理系统（BMS）： 在电动汽车中，AI 大模型可以用于预测电池的健康状况、剩余电量和充电需求，从而优化电池的使用和维护策略，提升续航里程。

（3）底盘控制系统： AI 大模型可以集成到车辆的底盘控制系统中，实现自适应悬挂调节、电子稳定控制等，以提供更平稳和安全的驾驶体验。

（4）车身电子系统： AI 大模型可以用于控制车身电子系统，如自动调节车内温度、照明、车窗和车门锁等，以适应驾驶员和乘客的需求。

（5）网联控车系统： AI 大模型可以分析车辆的网络数据，实现远程监控、故障诊断和车辆优化，同时提供车辆与外部环境的智能交互。

（6）车辆能源与热管理： 热管理需要考虑发动机、电池、电机等多个部件工作温度及其相互影响；系统设计和优化涉及多个学科，设计复杂性高；需要保证在各种环境条件下都能正常工作，系统可靠性要求高；提高车辆能量利用效率，延长续航里程，电池健康状态的监测与维护，延长电池使用寿命。通过大模型模拟不同工况下的热管理效果，帮助工程师优化设计方案，减少实际测试次数；利用大模型根据不同车型和使用场景，定制化热管理策略，最大化能效比。

三、AI Agent 基础服务

车端 Agent 是运行在车辆内部的 AI 智能体，它负责感知来自车身、云端以及外部环境一系列与车辆操作、监控、诊断和通信等相关的任务，并不断推理、监控、反馈、学习，最终能够在没有外界直接操纵的情况下作出决策并执行任务。如果说车端基础功能层为车端 Agent 能够实时、准确、高效地获得数据提供了保证，那么 Agent 基础服务层则提供了 AI 上车的技术底座，不仅对上层的 AI 应用开发提供框架支持，还通过下层 SOVD 等接口实现对车端行为的管控。Agent 基础服务层的功能应该包含但不限于以下方面：

（1）感知模块（Perception）： 具备对多模态的感知和执行动作的理解 / 监控的能力。其中 Mul- ti-Model Fusion 功能可以将用户数据、车身数据、传感器数据、环境数据等信息整合到同一个上下文中，以任务的方式发送给规划模块；Action Awareness 可以将动作执行的结果信息反馈给规划模块的反思功能（见下文）。

（2）规划模块（Plan）： 具备任务分解及调度、结果跟踪、知识整理和推理优化的能力。其中 Rea- soning&DC 负责与记忆模块交互进行逻辑思考、分析和推断，以及对具体的任务进行分治处理；Task 负责任务管理，监控任务调度及任务优先级管理；Reflection 负责与执行模块交互，根据历史经验进行知识整理和推理优化，这些知识的来源包含用户参与的反馈信息，以及执行结果评估后的反馈信息。

（3）记忆模块（Memory）： 备知识及经验的整理及检索、记忆及知识管理的能力。RAG 负责对知识与经验进行整理和检索，并根据每个任务目标对知识库中的相关信息进行整合，生成合适的提示信息发送给 Prompts Engine；Prompts Engine 是提示引擎，负责根据不同的任务构建更精准的提示信息并反馈给执行模块；Knowledge/Memory 则负责对知识的读写和知识库管理。

（4）执行模块（Action）： 具备执行任务和评估执行结果的能力。Execution Engine 是动作执行引擎，负责执行离散指令和连续指令，同时内嵌 WebService 框架，可以执行来自 Tools 及云端的指令；Assessment 负责对执行结果进行评估，形成一条执行经验，并反馈给规划模块进行反思。

图 2 AI Agent

四、AI 大模型应用落地方法

基于现有的 AI 应用和汽车行业的特点，可以对 AI 大模型在车端部署的商业落地实施过程进行预测，该过程大致可分为三个阶段，每个阶段都有其特定的工作重点和目标。以下是对这三个阶段的时间估计和过程描述：

第一阶段：ToB 模型的快速落地

该阶段的主要事项和时间消耗为：

• 原型开发：快速开发初步的车载大模型原型，进行初步测试和演示
• 功能验证：验证模型的基本功能和性能，确保其满足 ToB 市场的基本需求
• 迭代优化：收集早期用户反馈，进行必要的调整，保证模型效果快速提升

这个阶段可能需要 6 个月到 1 年的时间，具体取决于项目的复杂性和客户需求的明确程度。

第二阶段：全链路和深度优化调试

该阶段的主要事项和时间消耗为：

• 性能优化：对模型进行深度优化，以提高其在车载环境中的性能和效率
• 多任务集成：将大模型与其他车载系统集成，以支持多任务处理
• 硬件适配：针对车载硬件进行模型适配和优化，确保兼容性和性能
• 安全与合规：确保模型满足汽车行业的安全和合规标准
• 大规模测试：进行更广泛的测试，包括道路测试和模拟测试，以验证模型的稳定性和可靠性这个阶段可能需要 1 到 2 年的时间，以完成全面的优化和测试。该阶段时间与阶段一可以有重叠。

第三阶段：芯片厂商与模型厂商的底层优化

该阶段的主要事项和时间消耗为：

• 底层优化：芯片厂商与模型厂商合作，从芯片底层算子和计算单元对模型进行优化，提高运行效率
• 资源管理：优化资源分配，确保模型能够在有限的车载计算资源下运行
• 软硬件协同：实现软硬件的深度协同，提升整体系统的性能

这个阶段可能需要 2 到 3 年甚至更长时间，涉及到长期的技术合作和产品迭代。

上述时间估计均为理想情况对于技术工作的评估，实际情况取决于项目的复杂性、企业间合作效率等因素。每个阶段都需要跨学科团队的紧密合作，包括系统工程师、软件开发、算法研究、芯片制造和行业专家的共同协作。