SOTA！SuperDriver AI：最新端到端学习的自动驾驶系统！-优快云博客

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

今天自动驾驶之心为大家分享端到端自动驾驶系统的最新进展—SuperDriver AI，如果您有相关工作需要分享，请在文末联系我们！

作者 | 汽车人

编辑 | 自动驾驶之心

>>点击进入→自动驾驶之心【全栈算法】技术交流群

摘要

全自动驾驶已经得到了广泛的研究，并且正在变得越来越可行。然而，由于各种不确定性，由于周围的人类驾驶员和行人，这种自动驾驶尚未实现在公共道路上。作者提出了一种基于端到端学习的自动驾驶系统 SuperDriver AI。此外，为了提高鲁棒性和可解释性，提出了slit模型和视觉注意模块。建立了一个有真实硬件的数据采集系统和仿真器，还测试了 SuperDriver 的人工智能系统与现实世界的驾驶情况。最后，作者在日本东京针对同一驾驶场景进行了150次行驶，并演示了带有SuperDriver AI的现实车辆的效果。

介绍

自从2007年DARPA自动驾驶城市挑战赛以来，许多研究人员和工程师一直致力于自动驾驶系统。例如，卡内基梅隆大学已经装备了一辆凯迪拉克 SRX 来进行自动驾驶，并且还开发了一种工具链来帮助测试自动驾驶系统。事实上，已经有很多由 Tesla 和 comma.ai 生产的多种自动驾驶商业产品，以及传统汽车制造商提供的驾驶辅助系统。虽然自动驾驶技术已经部署到现实世界中，但是由于两个挑战，完全自动驾驶还没有在公共道路上实现，这两个挑战是:

与周围行人交互合作
意外的道路场景

首先，自动驾驶系统可能难以确定它们在人类驾驶员和/或行人面前的行为。一般来说，有交通规则来保证公共道路上的道路安全，但人类驾驶员和行人可能会为了自己的目的而违反传统的交通规则。其次，由于施工、交通控制、障碍物堵塞和/或坑洞，道路可能有动态交叉口，其中可能发生意想不到的道路场景，每个驾驶员可能需要通过使用交通规则、文化、礼貌、社会规范和手势的组合进行交互合作。因此，自动驾驶系统在这样的动态环境下自我导航，同时理解周围人类驾驶员的显性和隐性驾驶行为。

本文介绍了一种基于端到端学习的自动驾驶系统 SuperDriver AI，深度神经网络(DNN)决定了人类驾驶车辆和自动驾驶车辆混合交通情况下的驾驶行为和保障道路安全的策略。在 SuperDriver AI 系统中，作者将图像数据作为输入，并输出驱动方向盘、油门和刹车系统的值。SuperDriver AI 通过收集人类驾驶员的数据来学习驾驶策略。这种方法是设想一种基于端到端学习的自动驾驶系统。如下图1所示：

上图1-(a)指传统的自动驾驶系统，从车载感知系统和地图数据库中获取数据，并在每个模块中处理这些数据以进行车道标记和检测、目标检测、路线规划和路径规划。其中一个主要的优点是对意外系统行为的可解释性，并且作者可以很容易地研究内部系统。最重要的是，这样的自动驾驶系统还远远没有完全出现在公共道路上。如上图1-(b)所示，基于端到端学习的自动驾驶系统获取感知系统和道路网络的数据，并用 DNN 处理它们以确定驾驶行为。虽然这些系统可能难以提供可解释性，但作者提供了一个视觉注意模块，使能够理解系统关注的是什么，以及决策是如何确定的。此外，为了验证 SuperDriver AI的可行性，作者对驾驶数据进行了采集和处理，并用实际硬件和车辆对系统进行了测试。首先，建立了一个基于云的数据收集和学习系统与车辆的人类驾驶员。其次，将训练好的网络在实际车辆上进行处理，并结合实际驾驶场景。为了设计和开发一个在现实世界的驾驶情况下鲁棒的模型，作者还开发了slit模型。

本文的主要贡献如下。

作者提出了一个SuperDriver AI来设想一个端到端基于学习的自动驾驶系统。
提出了一种基于现实硬件和车辆的 SuperDriver AI数据采集与学习系统。
利用现实驾驶数据和现实硬件演示了SuperDriver AI。

端到端基于学习的自动驾驶

对于基于学习的端到端自动驾驶来说，有两种主要的技术来学习驾驶策略:

模仿学习
强化学习

首先，在模仿学习中，训练一个模型来模拟人类专家驾驶员来学习驾驶指令和时机来驱动车辆转向、油门和刹车系统。由于基于仿真学习的自动驾驶系统是根据人类驾驶数据来决定其行为和策略的，因此在很少发生的交通条件下，系统很难驾驶。其次，在强化学习中，一个模型是在线训练的，驾驶行为是由状态和奖励决定的。一般来说，强化学习学习的效率不如模仿学习，它使用模拟来收集学习数据，因为它从零开始改进了驾驶策略。

这种基于学习的自动驾驶系统可能难以解释故障，但有多种技术，使作者能够研究模型内部发生了什么。事实上，Kim 等已经展示了一个视觉注意力模块，它突出了目标图像的重要区域。该模型预测一个权重的空间掩码，该机制可以提供模型参与的区域。自动驾驶系统可以提供车辆的速度，加速度，驾驶区域和周围物体的位置，通过使用相同的输入为主要任务，决定驾驶时机和对策。

SuperDriver AI

在这一部分，作者介绍了 SuperDriver AI 的总体架构和设计概念，并提出了slit模型，以提高系统对物理世界部署的鲁棒性。SuperDriver AI是基于模仿学习，其中作者使用人类专家驾驶数据来训练模型。最佳模型是通过学习从人类驾驶员收集的数据，包括视觉相机和车辆的数据，产生与人类专家相同的驾驶动作和技巧。因此，SuperDriver AI 提供了方向盘、油门和刹车系统的指令来驱动汽车。此外，作者配置SuperDriver AI ，以模拟人类驾驶员方面的两个因素: (i)单目相机和视觉模型和(ii)时间连续输入。本文论证了基于视觉的自动驾驶系统的可行性。此外，作者了解驾驶情况与驾驶背景和过去的时刻。同样， SuperDriver AI 需要考虑驾驶数据的过去帧的组合。

SuperDriver AI 架构

如图2所示，作者有两个阶段来训练和测试 SuperDriver AI:

用真实世界的硬件收集和学习数据;
真实世界的部署和测试。

为了简化这些阶段的实际实现，作者使用相同的硬件集，包括车辆和相机。首先，训练 SuperDriver AI模型，需要有经验的人类驾驶员的驾驶数据。在这个阶段，模型使用来自车载视觉相机、 GPS 接收器、方向盘、油门和刹车系统的数据。然后，为现实世界的车辆训练SuperDriver AI模型确定驾驶行为和策略，作者需要收集足够的训练数据。

此外，立体视觉相机和/或环视图对实际驾驶情况是有用的，但作者只是使用单目相机，以显示系统的可行性。其次，为了测试 SuperDriver AI模型，一个真实的车辆和真实世界的驾驶场景是重要的。实际上，与软件仿真相比，物理世界中存在许多不可控因素，降低了驾驶质量和精度。例如，嵌入式相机在测试阶段可能会有轻微的偏移。此外，轮胎摩擦力可以随着天气的变化而改变，随后，相同的输入可能导致不同的输出。为了提高对这些现实世界因素的鲁棒性，作者提出了slit模型。

Slit模型: 用于鲁棒性设计

这一部分介绍了slit模型，提高了基于端到端学习的自动驾驶系统的鲁棒性。slit模型的设计是为了容忍传感器安装的失调和现实世界硬件的系统故障/延迟。在slit模型中，如下图3所示，作者裁剪相机视图并产生伪位移和/或伪失调。

然后，作者用这种剪切视图和伪位移训练模型。通过移动图像数据的裁剪区域，可以训练SuperDriver AI模型来恢复所走的路径。

如图3所示，作者提出了slit模型的概述，包括裁剪的视图和路径。在这里，车辆已经稍微偏离了原来规划的路径，并且车身在示例中偏左。因此，车辆必须将方向盘向右转，以恢复其行驶路线。在上图3中，阴影区域被移除以产生伪位移数据。当作者移除原始视图的右半部分时，车辆处于伪左移位置。可以利用这些数据来训练 SuperDriver AI模型。

视觉注意力

由于端到端的自动驾驶系统可能难以解释系统如何决定方案和系统的关注重点，针对人类骑手/用户，视觉注意力模块是非常需要的。为了提高可解释性，作者实现了深度估计模块与单目相机嵌入车辆，如下图4所示。

通过使用一个相机和深度神经网络，作者可以很容易地估计从相机到路障的物理距离。此外，作者实现Grad-CAM[ ，以突出显示图像中的重要区域，如下图5所示。

在图5-(a)中， SuperDriver AI 模型通过观察路面来确定驾驶行为。此外，在图5-(b)中，模型检查邻近的花园树木以确定行动方案。事实上，通过使用 Grad-CAM 的输出，作者可以知道，SuperDriver AI 模型使用各种视觉信息来确定驾驶动作。这些视觉注意力模块与自动驾驶间接相关，但是这些任务提供了模型的内部表示。人类驾驶员/用户可能很乐意实时了解 SuperDriver AI模型的重点。此外，这些任务可能有助于分析自动驾驶系统出现意外行为的根本原因。

真实世界部署和演示

在本节中，作者将介绍真实世界的数据收集、部署和实现。作者实现了 SuperDriverAI 系统，为了安全起见，作者只通过驱动方向盘来保持车速恒定。

数据收集和部署

如前面图2所示，作者从有经验的人类驾驶员那里收集了各种各样的数据，并在实践中将这些数据用于自动驾驶。作者开发了一个基于云的数据平台，可以自动上传驾驶数据并下载给 SuperDriver AI 模型。因此，一旦人类驾驶员完成驾驶，数据就会毫不费力地上传到云服务器。

此外，作者使用丰田 Previa 收集驾驶数据，并部署 SuperDriver AI模型。作者实现了从车载系统中采集数据的硬件工具，并且采用了嵌入式视觉相机来采集时间连续的图像数据。此外，为了测试车辆，作者在 Kawasaki City 使用了一个实际的测试场。已经收集了一个驾驶场景的150次运行，包括直线和转弯。

实施与评估

在这一部分，作者介绍了 DNN 的实施和现实世界与实际车辆的演示。首先，作者展示了 SuperDriver AI 模型的 DNN 体系结构，如下图6所示。

基线模型是 ResNet18[13] ，它是深度神经网络最普遍的结构之一。由于驾驶任务是及时-连续的，网络模型使用多帧(t = 1... n)作为输入数据，大约为3秒。此外，该模型将方向盘的值输出为几个时间步长的角度。为了对系统进行评估，作者显示了使用 SuperDriver AI 模型时来自车辆系统的数据，如下图7所示。

图7给出了 PID (比例-积分-导数)控制器、实际转向度和目标转向度的值。如图所示，期望值和实际值非常接近。这意味着车辆的驱动是准确地进行。该车辆包含多台计算机，以实时运行 SuperDriver AI 模型。在这里，一个问题可能是硬件的灵活性和多样性。事实上，通过学习和测试阶段，作者使用相同的硬件设置来说明 SuperDriver AI 的可行性，但是结果可能因硬件不同而有所不同。

结论

本文提出了一种基于端到端学习的自动驾驶系统 SuperDriver AI，其中深度神经网络(DNN)在确保道路安全的同时确定驾驶操纵。为了提高鲁棒性，设计并开发了视觉注意力模块。在今后的工作中，作者将扩展基于仿真学习的自动驾驶系统，使其更加实用，以显示端到端方法的可扩展性。此外，作者将研究和测试 SuperDriver AI模型，以了解周围车辆的驾驶策略和意图，以便使自动驾驶车辆和人类驾驶车辆之间的安全合作。由于作者可能需要一个很长的过渡期，以取代所有车辆的自动驾驶车辆，这种能力将成为重要的混合交通环境。

参考

[1]. SuperDriverAI: Towards Design and Implementation for End-to-End Learning-based Autonomous Driving

（一）视频课程来了！

自动驾驶之心为大家汇集了毫米波雷达视觉融合、高精地图、BEV感知、传感器标定、传感器部署、自动驾驶协同感知、语义分割、自动驾驶仿真、L4感知、决策规划、轨迹预测等多个方向学习视频，欢迎大家自取（扫码进入学习）

（扫码学习最新视频）

视频官网：www.zdjszx.com

（二）国内首个自动驾驶学习社区

近1000人的交流社区，和20+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、Occpuancy、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！