车-边-云架构下的驾驶行为评估

基于车‐边‐云架构的深度学习增强驾驶行为评估

摘要

随着5G、人工智能等技术的快速发展，智能交通系统（ITS）蓬勃发展。众所周知，驾驶安全问题始终贯穿于智能交通系统（ITS）的发展历程中。在车辆事故中，驾驶员起着决定性作用，而自动驾驶系统的性能也是保障自动驾驶汽车安全的核心。因此，许多研究人员致力于自动驾驶系统优化和人为异常驾驶行为检测。需要注意的是，这些研究要么依赖于模拟器，要么局限于几种特定驾驶模式，这无疑限制了其应用价值。此外，部分研究要求车辆具备强大的计算能力和充足的存储内存，加重了车辆负担。与以往研究不同，本文提出一种基于车辆‐边缘‐云架构的驾驶行为评价方案。当车辆在路上行驶时，通过远程信息处理盒将反映自动驾驶系统/驾驶员行为的车辆数据传输至边缘网络。边缘网络利用云服务器训练的驾驶行为评价模型进行评估，并将行为排名反馈给车辆。云服务器持续利用车辆数据对驾驶行为评价模型进行训练与优化，并定期将更新后的模型传输至边缘网络以实现升级。实验结果表明该方案具有良好的鲁棒性和可行性。

指标项 ——车‐边‐云架构，驾驶行为评估，智能交通系统，深度学习。

一、引言

随着5G、全球定位系统(GPS)导航和人工智能(AI)等各种新兴技术的迅猛发展，智能交通系统(ITS)呈现出蓬勃发展的态势[1]。众所周知，驾驶安全是智能交通系统(ITS)中的一个核心问题。因此，多种技术被采用以降低车辆事故的发生率。例如，自动防碰撞系统能够感知周围环境，发出声音报警，辅助驱动因素规避危险，有效避免事故。为了使驾驶更加安全，Mobileye的高级驾驶辅助系统(ADAS)提供车道偏离预警、车距监测预警、自适应巡航控制和其他功能。加速防滑系统（ASR）可防止车辆在起步和加速过程中打滑，从而保持行驶方向的稳定性。

上述内容无疑给人们的生活带来了极大的便利，但它们无法从根本上解决该问题。在车辆事故中，驾驶员起着决定性作用。速度、加速度等方面的不当操作可能导致交通事故及其他危险情况。此外，在自动驾驶汽车（AV）中，自动驾驶系统取代了驾驶员，也是保障自动驾驶汽车安全的核心[2]。一个典型的案例是2016年世界著名的自动驾驶汽车事故：特斯拉Model S的自动驾驶系统未能做出正确决策，撞上了一辆白色半挂车。综上所述，驾驶员/自动驾驶系统的行为改进能有效提升驾驶安全。驾驶员/自动驾驶系统具有固定的驾驶习惯模式，就像指纹一样[3]。发现这些“不良”指纹，即评估驾驶行为排名，正是我们的目标。

许多先驱研究者致力于自动驾驶系统优化和人为异常驾驶行为检测。在[4]中，Nie等人设计了一种去中心化的协同决策框架以实现智能变道。该框架包含三个模型：状态预测、候选决策生成和协调。Wu等人在[5]中提出了一种基于全卷积神经网络（CNN）的自动驾驶汽车目标检测模型，实现了更小的模型大小和更低的能效。在[6]中，研究人员开发了一种新方法，利用多层神经网络从车尾外观图像中检测车辆并识别刹车灯，从而增强了自动驾驶汽车感知能力。Hu等人在[7]中提出了异常指数以量化评估，并在2017年探讨了人类三种典型的异常驾驶行为。他们进一步在2020[8]中提出了一种深度学习（DL）方法，用于检测不同类型的异常驾驶行为，检测精度达到98.33%。更多关于自动驾驶系统优化和人为异常驾驶行为检测的相关工作可在[9]–[12]中找到。

这些优秀的论文解决了与车辆事故相关的许多实际问题。需要注意的是，许多相关研究依赖于模拟器，例如[4],[8],[9]，这无疑限制了它们在实际应用中的价值。对于人类驾驶员，许多研究局限于几种特定驾驶模式。例如，[7]中的作者探讨了三种异常驾驶行为，即鲁莽驾驶、酒驾和分心驾驶。在[10]中，专家研究了醉酒驾驶模式。[11]中的作者致力于检测长途疲劳驾驶时间。[12]的工作是细化专家的驾驶行为特征并重现它们。此外，一些工作需要高计算能力和充足的存储内存，这加重了车辆的负担，例如[5]和[6]。更重要的是，这些工作并未解决驾驶行为排名的问题。

与以往的研究不同，本文提出了一种基于车辆‐边缘‐云架构的驾驶行为评估方案。当车辆在道路上行驶时，通过远程信息处理盒（T‐BOX）将反映自动驾驶系统/驱动因素行为的数据传输至边缘网络。边缘网络利用云服务器训练的驾驶行为评价模型，对驾驶行为进行评估，并将驾驶行为等级反馈回车辆。云服务器持续利用车辆数据对驾驶行为评价模型进行训练和优化，并定期将更新后的模型传输至边缘网络以实现升级。本方案能够准确地评估驾驶行为等级，并通过远程信息处理服务提供商（TSP）动态地将结果反馈给车辆。本文的主要贡献总结如下：

1) 我们是首个基于车‐边‐云架构建立驾驶行为评估方案的团队。车辆生成数据并获得驾驶行为排名；边缘网络计算车辆传输的数据；云服务器训练模型并存储数据。

2) 我们从实际车辆中提取数据，而非使用模拟器或其他附加设备，这增强了我们研究的真实性和意义。

3) 我们利用两种不同的深度学习算法验证了驾驶行为评价方案的可行性。数值结果表明该方案具有优越性。

4) 实验表明，基于车‐边‐云架构的驾驶行为评估方案能够精确识别驾驶员的驾驶行为等级。因此，驾驶员可以主动提升驾驶能力。我们相信，该方案未来可用于评估自动驾驶汽车系统，使自动驾驶汽车制造商能够更好地优化自动驾驶系统。

5) 该驾驶行为评估方案无需修改现有的智能车辆系统，可直接加载到T‐BOX中。它不占用CAN总线的带宽资源，也不会给T‐BOX带来巨大的计算负担。它仅将驾驶数据传输至边缘网络，并接收驾驶行为排名结果。

本文的其余部分组织如下：在第二节中，我们阐述了车辆数据的重要性、车‐边‐云架构、驾驶行为评价方案的应用以及面临的挑战与解决方案。在第三节中，我们介绍了基于车‐边‐云架构的驾驶行为评估方案。第四节展示了实验平台和数值结果。最后，第五节对本文进行总结。

II. 预备要求与应用

A. 车辆数据的重要性

常言道：一千个读者眼中有一千个哈姆雷特，驾驶行为也是如此。不同的自动驾驶系统/驾驶员以不同的方式操控车辆。具体而言，自动驾驶汽车中的每个决策系统（DS）在特定情境下会做出不同的决策。每位人类驾驶员都有固定的踩油门和刹车踏板的习惯、转向方式以及跟车或并行距离。这些差异隐藏在车辆数据中。因此，我们利用这些数据来提炼特征并分析驾驶行为。据报道，由“不良”驾驶行为引发的悲剧每年占致命交通事故的三分之一。已证明良好的驾驶行为能为乘客带来舒适感，并降低交通事故概率。如果车辆保持稳定速度行驶，行驶过程中就不会出现过多颠簸；如果与前车的距离合适，当前车突然停止时，就有更充足的时间和空间进行应对。

B. 车‐边‐云架构

随着新型汽车设备和应用的持续增长与升级，车辆数据量呈几何级数增加，传统的云已无法满足需求。因此，产业界和学术界将目光转向了车辆‐边缘‐云架构[13]。具体而言，在传统云中，应用数据在车辆中生成并传输至云[14]。云处理来自各车辆的数据，并向其发送反馈，这带来了极高的网络带宽要求和巨大的传输成本。相比传统云，边缘网络靠近车辆，可大规模部署[15]。它可计算车辆上传的任务，并将无法解决的复杂需求提交至云，从而降低不同路由器与汽车设备间的数据处理延迟，解决计算能力不足的问题。该架构可应用于许多计算密集型和高交互性终端应用，如智能交通系统（ITS）、自动驾驶汽车。

C. 驾驶行为评估方案的应用

当车‐边‐云架构在智能交通系统（ITS）中得到广泛应用，且自动驾驶汽车技术成熟并进入生产线时，人类生活方式将发生巨大变化。车‐边‐云架构减轻了车辆的计算负担。边缘网络通过接收来自车辆的任务、进行计算、存储数据，并将无法解决的问题上传至云，从而扩展了内存。自动驾驶汽车技术改变了当前的交通模式以及城市道路的基础设施组件。智能交通系统（ITS）通过实现网络、道路、车辆、个人、交通信号灯和监控摄像头的协同工作，提升了交通管理系统的时效性和效率[16]。图1展示了驾驶行为评价方案在智能交通系统（ITS）中的应用。当一辆车辆在道路上行驶时，它可以将数据和标签发送至边缘网络，并获取驾驶行为排名。

当边缘网络有过多任务需要计算时，会将问题上传至云服务器。然后云服务器处理这些数据，并直接向车辆发送驾驶行为排名。

D. 挑战与解决方案

本部分介绍了驾驶行为评价方案设计中的挑战及相应解决方案。

1) 挑战

• 缺乏规范性标准 。迄今为止，尚无关于如何评估驾驶行为的规范性标准。因此，很难对驾驶行为进行量化，并给出数值结果来表示驾驶员的排名。
• 数据采集的困难 。一个鲁棒且精确的驾驶行为评估模型在投入使用前需要训练大量数据。然而，手动收集如此大量的车辆数据和评估标签是不现实的。
• 计算与存储的开销 。当驾驶行为评估模型加载到车辆中时，车辆需要实时传输和计算数据，占用车载网络资源并加重车辆的计算负担。
• 合适的特征提取算法 。为了确保驾驶行为评价方案具有高识别精度，有必要找到一种合适的算法，以更好地从驾驶数据中提取特征。首先，该算法应能够处理时序相关数据，因为驾驶行为是由连续时间段内的操作构成的，而不是离散时间点。其次，该算法需要能够主动学习多特征之间的关系，因为驾驶行为的特征是相互关联而非孤立的。例如，在转弯动作中，需要在一段时间内协调刹车踏板和方向盘的操作。

2) 解决方案

基于上述困难，我们提出了几种解决方案。
- 我们制定了驾驶行为评估的规范，并为每个指标设定了相应的分数。因此，评估者可以更加公正地评估驾驶行为统一。相关规定的详细信息在第二节‐B部分中介绍。
- 为了更方便地进行数据采集，我们构建了车辆‐边缘‐云架构。车辆数据和驾驶行为标签可通过T‐BOX自动传输至边缘网络，无需人工成本。
- 利用车辆‐边缘‐云架构的优势，数据计算与存储被迁移至边缘网络，减轻了车辆的负担。
- 众所周知，卷积神经网络（CNN）和长短期记忆网络（LSTM）擅长处理与时间相关的数据。更重要的是，它们能够提取不同特征之间的时间关系。因此，我们将其用于驾驶行为特征提取。相关内容见第三节‐C部分。

III. 基于车‐边‐云架构的新型驾驶行为评价方案

A. 驾驶行为评价方案概述

从图1可以看出，车辆数据分为三部分：公共数据、私有数据和驾驶行为标签。公共数据由不同时刻的车速、横摆率、加速度、发动机转速、转向信号、安全带状态和当前位置组成，可通过车载网络获取，并通过T‐BOX传输至边缘网络。随后，边缘网络利用这些数据提取并分析驾驶行为特征。自车辆首次接入网络以来，车辆ID和车主身份信息等私有数据已存储在云中并进行加密，用于完成车辆身份认证。在模型构建和升级过程中，需要额外的驾驶行为标签，这些标签由乘客根据我们制定的规则生成，用于表示驾驶行为等级。

在图1所示的车‐边‐云架构中，公共数据和驾驶行为标签通过边缘网络传输至云。随后，云利用深度学习模型对公共数据中隐藏的潜在特征进行提取，并将其与驾驶行为排名标签进行映射。为了验证本方案的泛化能力，我们选择卷积神经网络和长短期记忆网络进行对比。训练完成后，模型被下载到边缘网络。当汽车在道路上行驶时，车辆系统将数据发送至边缘网络，并以低延迟接收反馈。此外，评估模型通过新的公共数据和标签在云中定期更新，以实现更高的识别精度，从而在评估模型与驾驶员/自动驾驶行为提升之间形成正向循环。

B. 驾驶行为标签规范

为了在云中训练优秀的驾驶行为评价模型，制定驾驶行为标签的规则是必不可少的环节。显然，“良好”的驾驶行为将为乘客带来舒适和安全的感受，并降低交通事故概率。因此，考虑到乘客的感受，我们将驾驶行为划分为三个等级（A/B/C）。为最小化主观因素，

我们设置了五个评价指标，每个指标满分为10分，每个指标赋予2分。乘客需要根据规则对驾驶员进行严格评分。我们计算每位驾驶员的平均分作为最终得分，以消除无关因素的影响。三个驾驶行为等级的范围如下：8 ≤ A < 10（代表最佳驾驶行为等级）；6 ≤ B < 8；0 ≤ C < 6。指标的具体内容如下所示：
- 当汽车启动/停止时，您是否感觉到明显的顿挫感？
- 该行程中，驱动因素是否经常踩刹车/油门？
- 当汽车经过颠簸或崎岖路面时，您是否感觉到明显的颠簸？
- 转弯时您是否感到明显的横向加速度且无法控制身体？
- 在整个行程中，驱动因素是否佩戴安全带并在变道时开启信号灯？

该方案要求评估员作为乘客对驾驶员进行评分。在乘客上车前，我们会向他们发放关于规则的打印材料。行程结束后，他们将对每一项指标进行打分。我们对各项得分进行汇总，并计算每位驾驶员的平均分。然后将所有驾驶员分为三个等级，使用A、B和C作为行为评价标签，并将其与公共数据一起发送至云平台进行训练。

C. 驾驶行为评价模型构建

在实验中，我们利用卷积神经网络和长短期记忆网络构建不同的驾驶行为评价模型并进行比较。基于卷积神经网络和长短期记忆网络的驾驶行为评价模型的构建细节分别如图2和图3所示。参数m为驾驶行为特征（车速、横摆率、加速度、发动机转速、转向信号、安全带和当前位置）的数量，即m = 7。输入数据为驾驶行为特征及其对应的标签。模型的输出为驾驶行为等级。

1) 卷积神经网络细节

我们希望卷积神经网络能够充分学习并行特征，因此将输入的宽度设置为m。驾驶是一个连续过程，因此我们设计了滑动窗口，使卷积神经网络能够在时间维度上处理数据。滑动窗口的大小为 300 × m，其在数据上滑动的步幅为 1。我们在实验中使用了两个卷积层。在第一个卷积层中，卷积核大小为 21 × m，通道数为128，步幅为1。第二个卷积层的通道数和步幅取值相同，但卷积核大小为 21×1，因为第二卷积层的输入只有一列。每个卷积层后接一个池化层，通过最大池化来压缩图像大小。第一和第二池化层的滤波器大小分别为 10×1和 18×1，它们的步幅均为2。激活函数为 Softsign，损失函数为均方误差（MSE），优化函数为随机梯度下降（SGD）。全连接层中使用L2归一化以消除过拟合问题。

2) LSTM 的细节

在本研究中，驾驶行为的多个特征具有时间依赖性。LSTM 能够长期记忆细胞状态，因此我们选择它作为补充实验的框架基础。根据特征的数量，输入尺寸为m。输入长度对应于时间序列 t。在训练过程中，采用 Adam优化器 自动优化参数。为了防止实验结果出现过拟合，我们使用了 L2 归一化和 Dropout层。其中，L2 归一化是权重矩阵中所有元素平方和的平方根。Dropout层 是通过随机丢弃部分神经元来防止过拟合。Softsign激活函数 被选用以更好地利用 LSTM 中的非线性因素。

IV. 实验与数值结果

A. 车‐边‐云架构的建立

我们通过校园网建立了一个小型车‐边‐云架构，以验证我们方案的合理性。

1) 车辆 。我们使用两辆不同的实车，即纳智捷U5 SUV和别克君越，以提高实验的真实性和鲁棒性。为了叙述方便，我们分别称它们为V1和V2。我们聘请了40名驾驶员用于训练数据，9名驾驶员用于测试数据，以及12名评估员用于驾驶行为标签。驾驶员操控车辆在固定路线周围行驶一小时。

2) 边缘网络 。我们利用一台配备英特尔至强Gold 5218（20核心）的工作站作为边缘网络。此外，我们使用一种车载无线诊断工具（称为CAN‐WiFi），该工具替代T‐BOX来收集车辆数据并将其传输至边缘网络。

3) 云服务器 。云服务器由三个相同的工作站组成，即英特尔至强 E5‐2643 v3，具有7个核心。我们在云中基于卷积神经网络和长短期记忆网络构建了两个不同的驾驶行为评估模型。它们使用边缘服务器传输的驾驶行为特征数据和标签进行训练，并将训练好的模型传递给边缘服务器。驾驶行为评价模型在tensorflow=2.0框架上使用 Python语言编写。

B. 两辆车的训练和测试结果在卷积神经网络和长短期记忆网络中的表现

卷积神经网络和长短期记忆网络中两辆车的训练和测试结果如图4所示。图4 (a) 描述了V1在卷积神经网络实验中的准确率和损失值曲线，图4 (b) 绘制了长短期记忆网络中的结果。对于 V1，卷积神经网络中训练数据的准确率和损失值分别为96.7% 和0.189，长短期记忆网络中的对应值分别为98.5%和0.029。为了验证模型的泛化能力，我们检验了测试样本。卷积神经网络和长短期记忆网络的准确率结果分别为90.2%和95.1%；损失值分别为0.401和0.076。图4 (c) 和 (d) 显示了V2在两种深度学习算法中的准确率和损失曲线。从图4 (c) 可知，在卷积神经网络中，训练数据和测试样本的准确率分别为95.7%和91%，损失值分别为0.236和0.415。图4 (d) 描述了长短期记忆网络的结果，训练和测试样本的准确率分别为97.8%和94.3%，训练和测试样本的损失值分别为0.139和0.168。不同车辆在卷积神经网络和长短期记忆网络中的结果表明，我们的方案具有较强的鲁棒性和实际意义。

表I显示了卷积神经网络和长短期记忆网络在两辆车中的混淆矩阵。在一个表格单元格中，红色和蓝色数字分别表示 V1和V2的结果。表格的左部分代表卷积神经网络中的结果，右部分代表长短期记忆网络中的结果。很明显，自动驾驶汽车A、B和C在V1中卷积神经网络驾驶行为标签的识别精度分别为88.67%、86.26%和95.67%，而在V1中对应的V2的识别精度分别为86.33%、90.53%和96.14%。与前述序列相同，LSTM中V1的识别精度分别为91.91%、94.65% 和97.87%，V2的识别精度分别为92.83%、92.34%和 96.71%。我们发现，两种算法都更容易学习“较差”的驾驶行为，因为在卷积神经网络和长短期记忆网络中，两辆车辆的C等级驾驶行为均具有最高的识别精度。我们推测，由于交通规则的约束，大多数人的驾驶行为等级为A和B，因此车辆数据中C等级的特征相较于其他两个等级更为显著。

实际上，驾驶员更重视自己的驾驶行为排名。因此，我们在表II中列出了两种算法对每位测试驾驶员的预测百分比。预测的驾驶行为排名由具有最高百分比的标签决定。表II中的颜色与表I具有相同的含义（‘4表示算法的结果）。CNN和LSTM在驾驶行为排名上的预测结果均与真实标签一致。所有正确驾驶行为排名的识别百分比均高于80%。在9个测试样本的驾驶行为评估中，CNN在V1中有3人低于90%，在V2中有5人低于90%，而LSTM在V1中仅有2人低于90%，在V2中有3人低于90%。

表I 驾驶行为评估混淆矩阵在V1/V2(%)的卷积神经网络和长短期记忆网络

标签	预测结果 CNN			预测结果 LSTM
	A	B	C	A	B	C
A	88.67	7.55	3.78	91.91	7.04	1.05
B	86.33	9.11	4.56	92.83	5.97	1.2
	13.74	86.26	0	4.01	94.65	1.34
C	1.5	2.83	95.67	0	2.13	97.87
	2.21	1.65	96.14	1.63	1.66	96.71

表II V1/V2(%) 卷积神经网络和长短期记忆网络中不同驾驶员的预测结果

驾驶因素 (标签)	预测结果 CNN			Re	预测结果 LSTM			Re
	A	B	C		A	B	C
D1(A)	96.6	0.6	2.8	A	96.5	0.9	2.6	A
	94	3.9	2.1	A	93.6	4.9	1.5	A
D2(B)	15.3	80	4.7	B	9.3	87.6	3.1	B
	0.3	98.7	1	B	5.3	85.7	9	B
D3(C)	0	0	100	C	0	0.7	99.3	C
	5.1	11.6	83.3	C	0	0.3	99.7	C
D4(A)	87.7	10.8	1.5	A	89.8	9.9	0.3	A
	84.9	4.4	10.7	A	89.7	7.9	2.4	A
D5(B)	1.7	98.3	0	B	7.3	92.7	0	B
	7.5	88.5	4	B	2.8	96.3	0.9	B
D6(C)	4.5	0	95.5	C	0	1.5	98.5	C
	0	0.3	99.7	C	0	3.6	96.4	C
D7(A)	89.4	10.6	0	A	94.4	5.6	0	A
	89.9	9.3	0.8	A	91.2	7.7	1.1	A
D8(B)	6.8	91.2	2	B	6.9	91.1	2	B
	0	93.3	6.7	B	9.3	87.5	3.2	B
D9(C)	0	0	100	C	0.8	2.3	96.9	C
	0	14.8	85.2	C	0	2.3	97.7	C

V. 结论

本文提出了一种基于车‐边‐云架构的新型驾驶行为评价方案。该方案可通过深度学习算法自动评估人类驾驶员的驾驶行为等级，帮助驾驶员主动改善驾驶行为。为了在云端训练出优秀的模型，我们首先制定了生成训练/测试标签的规则，并从两辆真实车辆中收集了数据。随后选择了卷积神经网络和长短期记忆网络进行对比。数值结果验证了该方案能够高精度识别驾驶行为等级，展现了其鲁棒性和泛化能力。此外，我们认为该方案在成熟后还可应用于自动驾驶系统的评估，使自动驾驶汽车制造商能够更好地优化自动驾驶系统。