【论文分享】【自动驾驶】WiseAD: Knowledge Augmented End-to-End Autonomous Driving with Vision-Language Model

1.论文信息

标题：WiseAD: Knowledge Augmented End-to-End Autonomous Driving with Vision-Language Model

收录的会议/期刊：

作者信息：Songyan Zhang1,* Wenhui Huang1∗, Zihui Gao2, Hao Chen2, Chen Lv1† 1 Nanyang Technology University, Singapore 2 Zhejiang University, China

论文链接：https://arxiv.org/pdf/2412.09951https://arxiv.org/pdf/2412.09951

2.泛读

a. 名词解释

• 端到端自动驾驶：

通过单一的神经网络模型直接将传感器输入（如摄像头图像、雷达信号等）映射到车辆的控制输出（如方向盘角度、油门和刹车指令）。这种技术的目标是简化自动驾驶系统的复杂性，提高系统的整体性能和适应性。

---

• 域内数据集和域外数据集:

域内数据集通常指与特定任务或领域高度重合的数据集；

域外数据集只要指的是与当前进行的任务不完全相关的数据集，主要用来检验模型的泛化能力

例如：

在自然语言处理中的电影情感分析任务中，有两组数据集

• IMDb 电影评论数据集：内容主要是对电影的评价，语言风格较为正式，通常较长。
• Twitter 情感分析数据集：内容涵盖各种主题，语言风格较为随意，通常较短。

此时电影评论数据集即为域内数据集：这个数据集与电影评论情感分析任务高度相关，因此是域内数据集。模型在该数据集上的表现可以很好地反映其在电影评论情感分析任务上的性能。

此时Twitter数据即为域外数据集：这个数据集与电影评论情感分析任务不完全相关，因为推文的内容和风格与电影评论有显著差异。因此，它是域外数据集。模型在该数据集上的表现可以用于测试其在不同领域的泛化能力。

---

• 基于规则的自动驾驶方案和端到端的自动驾驶方案的不同

基于规则的自动驾驶方案：根据严格规定的交通规则，道路条件，车辆行为等行为进行决策，控制车辆进行路径规划，道路控制和障碍物避障

优点：

1. 可解释性：规则明确，易于理解和解释。工程师可以清楚地知道每个决策的依据。

2. 安全性：通过严格的规则确保安全性，特别是在已知的场景中表现良好。

3. 稳定性：在熟悉的环境中，基于规则的系统表现稳定，不易出现意外行为。

缺点：

1. 灵活性差：难以适应新的或未知的场景，需要不断更新和调整规则。

2. 复杂性高：随着规则的增加，系统的复杂性显著提高，维护成本增加。

3. 信息损失：各模块之间通过定义接口进行信息的显式传递，会产生明显的信息损失。

端到端的自动驾驶方案：

将感知、决策和控制等多个模块整合到一个单一的神经网络模型中。该模型直接将传感器输入（如摄像头图像、雷达信号等）映射到车辆的控制输出（如方向盘角度、油门和刹车指令）。

优点：

1. 简化系统：减少了多模型的联级误差，整体提升了系统性能，使系统更加简洁。

2. 泛化能力强：大模型的强大泛化能力使该方案能够提升智能驾驶的上限，特别是在边缘和罕见场景中表现更