智能车辆变道预测综述

智能车辆周围车辆变道操作预测与检测:综述

摘要

识别和评估周围环境中的潜在风险对于智能车辆的安全性和用户体验至关重要。本文对周围车辆的变道操作预测与检测的最新研究进行了全面综述。首先,回顾并分析了各种驾驶员行为建模和分类方法,以帮助理解变道操作的定义以及如何预测或检测变道操作。接着,讨论了智能车辆上配备的主要感知设备及其对变道推理系统的影响。随后,选取近年来一系列具有代表性的研究工作,从输入特征选择、推理算法和性能评估方法等方面进行了介绍和比较。最后,提出了一些潜在的未来研究方向。
本文旨在帮助相关研究人员和机构总结当前关于周围车辆变道操作推断的研究,并明确其未来的发展方向。

索引术语 —自动驾驶,高级驾驶辅助系统,变道推断,目标车辆,驾驶员意图。

术语表

ACC 自适应巡航控制
ACU 准确率
AD 自动驾驶
ADAS 高级驾驶辅助系统
ADST 根据安全时间调整减速
ANOVA 方差分析
ANN 人工神经网络
AUC 曲线下面积
BN 贝叶斯网络
CNN 卷积神经网络
DBN 动态贝叶斯网络
BDRNN 双向循环神经网络
DLC 自主性换道
DSRC 专用短程通信
EEG 脑电图
GMMs 高斯混合模型
GNSS 全球导航卫星系统
GRU 门控循环单元
高清晰度 高清晰度
隐马尔可夫模型
长短期记忆
强制性换道
多层感知器
朴素贝叶斯分类器
下一代仿真
精确率
真正例率
假正例率
循环神经网络
受试者工作特征
标准清晰度
安全驾驶试点模型部署数据
支持向量机
车对基础设施通信
车对车通信
车对外界信息交换

一、引言

近年来,交通安全问题在研究人员、工业界和政府组织中受到越来越多的关注。根据美国交通部的一份报告,2018年美国有36,560人死于机动车相关事故,这意味着每天约有100人死亡。所有机动车事故中有94%至96%涉及人为失误。因此,自动驾驶技术几十年来一直受到研究人员的关注。

自动驾驶或高级驾驶辅助技术可以追溯到上个世纪安装在车辆上的基本安全功能,例如防抱死制动系统和巡航控制。从本世纪开始,更先进的驾驶辅助技术被逐步开发出来,如电子稳定控制系统和车道偏离预警,以进一步提高安全性并减轻驾驶员负担,同时也为自动驾驶技术的发展铺平了道路。汽车工程师学会(SAE)定义了六种不同的驾驶辅助技术发展等级。0级功能仅能提供警告和瞬时辅助,例如盲点监测、紧急制动。1级和2级功能能够为驾驶员提供转向或/和制动/加速辅助。对于3级或更高等级系统在这些自动化功能启用时,驾驶员无需驾驶。3级自动驾驶功能要求驾驶员在功能请求时接管并驾驶车辆。而4级功能可以在某些有限条件下(如高速公路上)无需驾驶员接管即可驾驶车辆。最后,5级功能能够在所有条件下 everywhere 驾驶车辆。

更高级别的自动驾驶技术需要更强的环境检测能力,以识别周围物体及其对自车的潜在风险。例如,自适应巡航控制系统(ACC)需要判断前方车辆何时会切入或切出主车道。典型的3级或更高级别的自动驾驶车辆平台通常由感知、定位、规划和控制四个部分组成。如图1所示,感知模块用于检测周围环境,包括行人、车辆、交通信号灯、交通标志等,以避免驾驶过程中发生事故。自车周围的物体包括静态物体和动态物体。静态物体相对于地面位置不变,而动态物体的位置则在不断变化。为避免与动态物体发生碰撞,自车不仅需要识别物体当前的位置,还需预测其未来的位置。通常应更加关注动态物体,因为其未来位置的不确定性显著影响自动驾驶车辆的安全性。
因此,如图1所示,3级或更高级别的自动驾驶平台通常需要配备预测模块。例如,Waymo正在大力研究周围物体的轨迹预测;百度开发的阿波罗系统在感知模块与规划模块之间设置了预测模块;2007年DARPA城市挑战赛的冠军Boss在其感知模块中集成了预测功能。有时,预测功能也被引入到较低级别的驾驶员辅助系统中,以提升用户体验。例如,本田将其智能自适应巡航控制(i‐ACC)推向市场2015年。i‐ACC能够预测邻近车道的车辆是否即将变道至自车所在车道,从而比传统的ACC系统更早做出响应,提升安全与舒适性。如果能够准确且及时地预测周围车辆的行为,自动驾驶车辆将能更好地掌握周围环境和潜在风险,并做出更优决策。目前已有多种驾驶操作被研究,如车道保持、变道、转弯、停车等。其中,变道操作在城市和高速公路环境中均可能发生,因而受到广泛关注。当交通参与者试图变道时,常会发生车辆碰撞事故。因此,对周围车辆变道操作的准确预测将显著提升智能车辆的安全性和乘客的舒适性。

A. 动机与贡献

周围车辆的变道检测与预测对于自动驾驶或高级驾驶辅助系统(ADAS)的许多功能至关重要。智能车辆在各种场景中的应用。目前已有若干关于驾驶员或车辆行为预测的综述论文。Xing et al. 对智能车辆的驾驶员变道意图预测进行了全面综述。然而,该研究主要关注自车行为的预测,与对周围车辆行为的预测有显著区别。文献[12]针对智能车辆提供了运动预测与风险评估的综述。文献[13]回顾了基于深度学习的车辆行为预测算法。然而,这些研究并未专门聚焦于周围车辆的变道操作预测。
本文旨在为读者提供关于智能车辆周围车辆变道推断的最新研究综述。我们详细讨论了变道预测与检测的基本概念,以帮助读者更好地理解该问题本身以及不同研究之间的细微差异。此外,从感知技术、推理算法、输入/输出类型等方面对所综述的研究进行了讨论。
本文的其余部分组织如下:首先,介绍变道操作的基本概念,以展示变道操作推断的复杂性以及需要考虑的大部分(即使不是全部)因素。其次,介绍智能车辆的感知与感知系统,因为算法选择方法和推理性能深受并受限于车辆的感知能力。然后,对用于变道操作推断的常用算法和验证方法进行综述和分析。一些关于自车意图推断的研究也可应用于周围车辆的变道操作推断,因此本文也提及了部分此类研究作为参考。最后,介绍了周围车辆变道预测与检测的一些展望。

II. 基本概念与问题表述

在本文中,车辆配备了自动驾驶、高级驾驶辅助系统或无线通信设备。

示意图0

被称为智能车辆以及自车。周围并对自车产生影响的车辆被称为周围车辆。请注意,周围车辆不仅限于相邻车道上的车辆或位于自车正前方或正后方的车辆。自车正在检测或预测其变道意图的车辆称为目标车辆。目标车辆也属于周围车辆。

示意图1

图2展示了变道预测与检测性能对智能车辆的安全与舒适产生重大影响的两个示例。图2(a)表示自适应巡航控制系统的一个场景。自适应巡航控制系统通常能够在无需驾驶员干预的情况下很好地跟随前车并保持安全距离。然而,当另一辆车辆试图从相邻车道切入到智能车辆前方时,情况就变得具有挑战性。如果自适应巡航控制系统未能足够早地检测到变道或切入情况,而驾驶员又无法及时接管,则智能车辆很可能与切入车辆发生碰撞。及时识别此类情况有助于系统提前做出平顺响应,并减少接管情形。如图2(b)所示,当自动驾驶车辆试图进行变道操作时,变道意图预测同样至关重要。自动驾驶系统需要确保在智能车辆即将进入的目标车道上,没有其他车辆计划变道并进入同一区域。一旦检测到此类车辆,自动驾驶系统应立即尽可能中止变道操作,或执行其他避让驾驶操作。
操作检测是分析一系列动作是否属于特定操作的过程。而操作预测则是指在操作执行前,基于不完整的动作序列来预测该操作。由于感知能力有限,一些智能车辆无法在周围车辆执行变道操作前预测其变道意图。在许多情况下,智能车辆只有在目标车辆正在跨越甚至已经跨越车道线时才能检测到变道操作。为了更加简洁和准确,本文将变道操作的预测与检测统称为变道操作推断。

示意图2

本文假设目标车辆由人类驾驶员驾驶,即由人类驾驶员决定是否进行变道。未考虑目标车辆由自动驾驶系统驾驶的情况。然而,本文的讨论可能对自动驾驶的目标车辆也有参考价值,因为大多数自动驾驶系统都在尝试模拟人类驾驶员的决策过程。
由于目标车辆由人类驾驶员控制,因此在进行变道推断时,需要同时考虑目标车辆本身及其驾驶员。一方面,驾驶员可以改变车辆的行为,如图3所示;另一方面,车辆的状态和动力学特性也会影响驾驶员的决策,例如出于安全与舒适性考虑,驾驶员通常不会在高速行驶时进行急转弯。目标车辆的行为是其驾驶员控制输入和车辆动力学共同作用的结果,其中驾驶员在长期车辆行为中起主导作用。因此,识别驾驶员变道意图在某种程度上可视为预测目标车辆变道操作。然而需要注意的是,驾驶员变道意图在先,目标车辆变道操作是该意图的结果。鉴于当前的感知技术,自车通常无法直接检测目标车辆内驾驶员的行为。但是,驾驶员变道意图还会受到许多其他因素的影响,如周围交通、道路几何、交通规则、驾驶员目的地等,如图3所示。自车可以依靠这些因素,结合观测到的车辆行为,来预测目标车辆驾驶员的意图及其变道操作。
在大多数研究中,预测模型仅说明目标车辆进行变道操作的可能性,而不提供关于变道何时发生的信息。尽管这些研究中并非总是明确指出,但所预测的变道操作应是在未来合理的时间段内发生,例如5或10秒内。如果预测时间过长,预测结果将很难被使用,因为下游控制器难以确定何时对可能的变道做出响应。此外,如果时间足够长,车辆几乎肯定会进行一次变道操作。然而,如果预测模型能够准确计算出变道发生的时间,那么几乎是越早进行变道预测越好。

A. 驾驶员行为

研究驾驶员行为的形成、分类和建模将为如何预测变道操作提供有价值的信息和启示。通常,驾驶员行为可分为预期行为和非预期行为。非预期行为可能由分心、工作负荷、多任务处理和疲劳等因素引起。一般来说,提前准确预测非预期行为较为困难。由于目标车辆中驾驶员的意图难以预测,变道推断模型主要依赖于车辆的行为来“检测”而非“预测”变道操作。幸运的是,大多数变道操作属于预期行为。在[20],[21]中提出了一种三级层次结构,用于解释驾驶认知控制。这三个层次包括战略层、战术或操作层以及运行或车辆控制层。战略层涉及总体行程规划,包括设定出行目标(例如,最小化时间、避开交通拥堵)、选择路线以及评估不同行程方案的成本和风险。操作层涉及常见驾驶情境的处理,如弯道和交叉口、超车或汇入车流时的间隙接受以及避障。运行层则包括即时车辆控制输入,这些输入主要是自动动作模式(例如,转向、制动、换挡)。

示意图3

这三个决策层次也可以被视为三个意图层次。低层级决策与高层级决策保持一致。不同层次的决策需要不同的知识和时间来做出。例如,总体行程计划可以提前制定,而操作层决策则根据即时驾驶环境在几秒内完成。变道操作属于受战略层决策影响的战术层驾驶任务,并决定操作层决策。因此,变道操作推断可以在每个驾驶员决策层次内进行。一旦已知战略层决策,就可以判断执行变道的可能性以及执行时间,以完成战略层任务。同样,一旦检测到操作层驾驶行为的序列,就可以判断车辆是否正在执行变道操作。
为了预测变道,研究人员需要将变道与其他驾驶操作区分开来。然后操作推断算法可以评估最有可能正在执行或即将执行的驾驶操作。在大多数研究中,车辆处于不考虑交叉口或交通信号灯的多车道道路环境中。驾驶员的操作或车辆行为通常可以简化并定义为变道和车道保持。Driggsset al.定义了三种模式:车道保持、变道和准备变道。许多研究工作还将向左和向右变道分别考虑。一些研究进一步将周围车辆的驾驶操作划分为更多类别。例如,在[27]中为高速公路驾驶定义了六种驾驶操作类别。Deo et al.在自车坐标系下为车辆在高速公路上的运动定义了十种驾驶操作类别:车道通过、超车、强行并线以及漂移进入自车道。Schreier et al.定义了以下驾驶操作:沿道路行驶、跟随车辆、目标制动、变道、转弯和无效操作类别。为了避免定义过多的操作,Bahram et al.建议使用有限的基本操作集合来近似驾驶员在高速公路上能够执行的无限多种运动,并提出横向基本操作集包括:车道保持、向左和向右变道。在此框架中,超车可以分解为向左/向右变道、车道保持以及向右/向左变道;而汇入也可归类为车道变换,其中目标车道可被视为变道的原因,如图2所示。尽管几乎可以确定车辆会在车道终点前进行变道,但具体何时发生仍未知,需要进行预测。通常情况下,如何对驾驶操作进行分类取决于研究人员希望如何建模或推断变道操作。引入更多的操作类别可以简化每种操作的建模过程。然而,过多的操作类别会使整个模型过于复杂。因此,在每个操作模型的简洁性与操作模型的数量之间应进行权衡。
变道可分为强制变道(MLC)和自主变道(DLC)。当驾驶员必须离开当前车道时发生强制变道(MLC),而当驾驶员为了改善驾驶条件进行变道时则发生自主变道(DLC)。例如,即使目标车道交通更拥堵,驾驶员仍需变道以完成某些战略层驾驶任务。如果仅考虑交通状况,可能会导致错误的变道预测。类似地,当车辆行驶的车道即将结束时,可以预见将发生一次强制变道(MLC)。Leonhardtet al.[32]根据变道原因将变道事件分为不同类型,例如前车速度慢、返回车道、静态障碍物等。他们还报告指出,在其数据集中观察到最常见的情况是前车速度慢。这种分类有助于研究人员评估变道推断的可能输入特征,并选择最重要的特征以提升推理性能。

示意图4

B. 变道建模

为了判断驾驶员的变道操作意图,可以期望检测到三个连续阶段。它们分别是意图形成、操作准备和执行操作。在驾驶过程中,驾驶员会持续评估周围环境和交通状况。当另一条车道可用且更理想时,驾驶员会产生驶入该车道的意图。在第二阶段,驾驶员将再次检查周围环境以确保安全。最后,驾驶员开始执行变道操作,导致车辆状态和运动参数发生可观测的变化。在此方法中,根据驾驶员的意图将变道操作划分为子阶段。其他一些研究主要基于车辆的行为进行划分。在[33]中,变道操作被分为四个阶段:保持、变换、到达和调整,这与许多其他研究中的划分相似。一般来说,典型的变道过程可以如图5所示进行建模。
根据关于驾驶员在变道过程中行为的研究,变道轨迹可以用多项式曲线拟合。Eshelman等[37]和Nelson[38]均探讨了使用单个多项式来描述理想变道操作路径的方法。该多项式的阶数可以任意,但高阶多项式会增加复杂性和计算时间。许多研究工作直接使用变道模型来检测变道操作,这将在第四节中介绍。
变道推断可以在变道过程的不同阶段进行。如果推断模型能够在目标车辆执行操作之前识别出变道,则通常被视为变道“预测”;否则,通常被视为变道“检测”。在不同阶段可以使用不同的输入。在意图形成阶段,可以使用驾驶任务和周围交通;当目标车辆正在执行操作时,可以使用目标车辆的运动状态。从变道过程的早期阶段提取和评估特征通常能够实现早期检测,但分类准确率较低,这将在第四节中讨论。例如,周围交通的速度可用于提供早期的变道预测。如表II所示,因为该特征属于意图形成阶段。

III. 感知与环境感知

智能车辆的感知能力直接影响变道推理系统的开发及其性能。环境感知主要包括周围交通、道路信息以及其他环境感知。周围交通指的是行人、车辆、摩托车等。道路信息包括车道几何、标线类型、交通标志等。其他环境信息,如交通信号灯、天气条件,也对驾驶员行为有很大影响。

A. 智能车辆上的感知设备

智能车辆的关键组成部分是感知设备。智能车辆上的传感器通常可分为两类:车内系统和外部环境感知。车内系统主要用于提供自车状态,如横摆率、速度等。这些系统并不直接探测外部环境,但为自动驾驶系统提供了大量输入信息。例如,利用惯性测量单元(IMU)的数据可以提高全球导航卫星系统(GNSS)的分辨率。需要注意的是,在预测由人类驾驶员主导的自车变道行为时,这些传感器至关重要。本文将重点讨论外部环境感知,因为本文的研究重点是周围车辆的行为推断。可用于智能车辆的外部环境感知设备主要包括摄像头、激光雷达、雷达、超声波传感器、全球导航卫星系统(GNSS)以及无线通信。不同类型的感知设备可检测不同的环境信息。周围交通通常由摄像头、雷达和激光雷达检测。道路几何信息通常通过摄像头和高精(HD)地图获取。有时,周围交通信息也可用于估计道路几何。相同环境信息可能来自不同的感知源。例如,周围车辆可通过摄像头和雷达共同检测;交通灯信息可通过车路协同(V2I)通信和摄像头识别。在此情况下,可采用传感器融合技术以提升测量精度。
尽管自动驾驶车辆中的感知是通过多种感知系统实现的,但摄像头是最早被使用的传感器类型之一,目前也是汽车制造商的主要选择。当前量产车辆主要将其用于车道偏离和车道保持算法。立体视觉是指应用两个或多个摄像头来提供必要的保真度,以区分物体的深度和高度。摄像头面临的挑战是对低光照强度的敏感性,因此其夜间性能通常受限。
雷达被集成到车辆中,用于不同的目的,如自适应巡航控制、盲点预警、碰撞预警和碰撞避免。利用多普勒效应,雷达还能直接输出速度信息。雷达被用于近处和远处障碍物的检测。通常,典型的雷达系统在探测范围和视场范围之间需要进行权衡。例如,用于自适应巡航控制的典型系统具有约150米的探测范围和约20度的视场范围。雷达通常受天气条件的影响较小。
激光雷达使用红外激光束来确定传感器与附近物体之间的距离。目前大多数激光雷达使用900纳米波长范围的光,尽管一些激光雷达使用更长的波长,后者在雨天和雾天表现更好。虽然激光雷达系统通常比雷达更精确,但其成本通常更高,并且需要额外的安装空间,限制了其应用。此外,激光雷达系统在检测速度方面通常不如雷达系统准确。
超声波系统通常是所讨论技术中最便宜的。然而,根据上述工作原理,它们通常比雷达系统更容易受到堵塞或干扰的影响。它通常用于低速下检测短距离。
GNSS基于接收器和天线与多颗卫星通信,以三角测量方式确定车辆的绝对位置。车对外界信息交换(V2X)通信是指车辆向可能影响该车辆的任何实体传递信息。V2X包含多种类型的通信:车对车通信(V2V)、车对基础设施通信(V2I)等。V2V是多辆车辆之间的直接通信。V2I技术采集车辆生成的交通数据,通过无线方式向车辆提供来自基础设施的信息,例如有关安全、通行效率或环境状况的提示,以告知驾驶员。与标准清晰度(SD)地图相比,高精度地图允许车辆更精确地定位自身,并建立更详细的周围环境模型。如今,高精度地图的发展使车辆能够获取额外的道路和交通信息。表I总结了本节中提到的不同感知设备的优缺点。

示意图5

B. 传感器布局和检测能力

高级驾驶辅助系统(ADAS)或自动驾驶系统通过融合不同感知设备的输出来检测周围环境。根据系统的功能或自动化水平,可为不同系统采用不同的传感器布局。图6展示了两种传感器布局示例。上方的布局通常用于L2级系统,此类系统通常具备自适应巡航控制和车道保持辅助功能,其中一些还在车辆后部安装了雷达或其他传感器,用于检测盲区中的车辆。本田传感系统和丰田安全感知系统是采用类似传感器布局的ADAS系统的两个例子,如上图所示。图6中下方的传感器布局由于具有更强的感知能力,可用于更高级别的自动驾驶系统。不同研究团队和公司开发的系统在实际传感器配置方面差异较大。一些系统使用更多摄像头进行环境检测,例如特斯拉Autopilot;而另一些系统则更依赖雷达或激光雷达,例如Waymo驾驶系统。传感器类型和传感器布局对周围车辆变道检测与预测系统的设计和性能有重大影响。
对于如图6上图所示具有相似传感器布局的系统,由于传感器视场范围覆盖有限,当相邻车道中的车辆在纵向距离自车较近时,很难检测到这些位于自车前方的车辆。这种情况有时被称为近距离切入。在这种情况下,通常无法在变道操作开始前对其进行预测。自车通常只能在目标车辆进入传感器视场范围并接近或跨越车道线时,在变道操作的中后期阶段检测到其变道行为。当检测到目标车辆接近或跨越车道线时,几乎可以确定其正在进行切入操作。因此,如何提高感知性能以检测变道变得非常重要。Morizaneet al. [51]使用带广角镜头的摄像头来检测自车附近相邻车道的切入车辆。为了进一步提高切入检测性能,Choi et al. [15]应用了一种基于部件的车辆检测方法,通过组合检测到的轮胎来识别车辆。据作者称,所提出的方法可以构建一个真实报警率高达98.6%且延迟较低的切入预警系统。
高级别自动驾驶系统具有更强的周围环境检测能力。额外的传感器能够在周围车辆执行变道操作之前检测到它们。Lee et al.[52]开发了一种传感器融合模块,该模块结合了雷达和摄像头传感器的测量数据,以提供自车与邻近车道目标车辆之间的相对位置和相对速度。一个简化的鸟瞰图被输入到卷积神经网络(CNN)中,用于预测车辆的变道意图。在[33], Woo et al.的研究中,在自车周围安装了六个激光雷达,用于检测周围车辆的位置和速度。许多研究工作未明确说明传感器配置,但假设自车具备足够准确性来检测所有相关周围车辆的能力。
大多数研究工作使用摄像头、雷达和激光雷达等车载传感器进行环境检测。当其他车辆位于这些传感器的视场范围之外或被其他周围车辆遮挡时,就会出现问题。这些传感器的检测范围有限,也限制了自车响应变道操作的时间。V2X为提升周围车辆的检测能力提供了另一种途径。尽管这些车辆可能不会对自车产生直接影响,但可能会影响目标车辆行为。Sakr et al. [55]提出了一种基于机器学习的方法,利用自车通过DSRC接收到的V2V数据来检测远程车辆的变道操作。Ma et al.[56]也使用车对车通信来提高目标车辆速度和位置的检测精度。此外,根据[57],研究人员的建议,可通过车对车通信在切入场景中提升自适应巡航控制安全性,其中切入车辆在开始变道的瞬间向后随车辆发送明确的变道信息(相当于“转向灯”)。然而,由于所需基础设施的高成本、网络的可扩展性问题以及相关的安全问题,使其产业化非常困难。据我们所知,该领域目前尚无专项研究。但这未来可能成为一个有前景的研究方向。此外,高精度地图为检测周围道路几何提供了非常有用且高质量的资源。例如,[24]中考虑的道路曲率和到高速公路出口的距离可直接从高精度地图中获取。

IV. 变道操作推断

变道推理系统需要多种技术,如数据融合、感知、数据处理等。如图7所示,“数据融合与感知”模块

示意图6

融合所有从感知设备捕获的信号,并获取所有周围交通及其他环境信息。然后将自车坐标系中的变量转换到目标车辆坐标系中,并处理成推理算法可使用的特征。最后,变道推断算法将推断结果提供给下游模块。

A. 变道操作推断的输入

在变道操作的每个阶段,可以使用不同的输入来预测或检测驾驶员行为。根据来源的不同,这些输入可进一步分为三类:环境上下文、驾驶员行为、车辆状态。

1) 环境上下文

周围车辆周围的环境上下文是驾驶员进行变道的主要原因。因此,它是在图5所示的意图形成阶段的主要输入。环境上下文可进一步分为两类:动态环境和静态环境。
• 动态环境指的是可移动或正在移动的周围交通,例如行人、车辆、摩托车;
静态环境主要包括道路/地形信息、交通标志、天气状况等。
环境信息通常仅在配备有用于高级自动驾驶系统的传感器的车辆上可用。由于获取困难且性质复杂,直到近年来随着先进传感技术或网联车辆技术的发展,环境上下文输入才得到深入研究。该信息主要属于图5所示的意图形成阶段,并影响图4所示的战略级驾驶决策。因此,使用该信息的推理系统通常能够较早地检测到变道操作。
张等利用目标车辆及其四个邻近车辆的信息来预测目标车辆的变道操作。所使用的信息包括目标车辆与其邻近车辆之间的纵向相对速度和距离。Leonhardt等使用类似的输入评估了变道预测。作者采用自适应减速至安全时间(ADST)方法,通过公式1计算,以量化变道可能性和概率的占用程度。

$$
a_{ADST} v_0 = \frac{(v_{E0} - v_0)^2}{2(v_0 t_{Safety} - s_0)}
\quad (1)
$$

其中,$s_0$和$v_0$表示邻近车辆的距离和速度;$v_{E0}$表示目标车辆的速度;而$t_{Safety}$为期望的安全时间。相比之下,Woo等[61]借鉴了常用于机器人导航的势场法,根据目标车辆与其邻近车辆之间的相对距离和速度来计算变道是否有利。Wissing等采用Sigmoid函数对变道概率进行建模,以反映变道操作的收益和可行性。一些其他研究直接利用邻近交通状态,并将其输入分类算法。Dou等[62]在高速公路车道减少场景中考虑了目标车道中的前后车辆。
一些研究使用了目标车辆周围更多的邻近车辆以及每个邻近车辆的更多属性(如速度历史)。Dai et al.[64]考虑了目标车辆周围的最近六个邻居。在[65],[66]中,使用了目标车辆当前及两条相邻车道中的三个最近车辆进行预测。Altch et al.[67]甚至考虑了九辆车以提升预测性能。与考虑固定数量车辆不同,一些研究仅考虑特定距离内的车辆。
理想情况下,考虑更多车辆可以提高预测性能。然而,在实际应用中,由于传感器遮挡或限制,周围车辆的状态并不总是可获取的。部分遮挡或远处车辆的传感器输出容易受到较大噪声的影响,而这种噪声可能导致错误预测。
静态环境信息是影响变道意图的另一个刺激因素。随着高精度地图成为自动驾驶车辆的发展趋势,更多关于道路的信息将变得可用。文献[24],[71]–[73]中考虑了车道标记类型、目标车辆两侧的可用车道、道路曲率、高程、到高速公路出口的距离以及速度限制。Das et al.还考虑了天气信息。研究发现,在不同天气条件下,大多数参数(如变道过程中的速度、纵向加速度和减速度)存在显著差异。考虑天气条件也可以提高分类准确率。

2) 车辆状态

对于自车驾驶员意图检测,通常使用通过控制器局域网(CAN)获取的多种信号,例如方向盘转角和制动/油门踏板位置。然而,这些信号通常无法用于检测周围车辆的意图。根据智能车辆的不同传感器配置,可以检测到周围车辆状态的各种属性。常用的信号包括目标车辆的纵向/横向位置、速度和加速度。这些变量可基于不同的坐标系:自车坐标系和道路坐标系。一些研究假设自车沿直道的道路中心线行驶,此时周围车辆在这两种坐标系中的属性相似。然而,一旦该假设不成立,通常需要在道路坐标系(或曲线坐标系)下考虑周围车辆。
将周围车辆的信息投影到道路坐标系需要来自高精度地图、摄像头或其他感知设备的道路/标线信息。大多数研究考虑了目标车辆及周围车辆的属性在道路坐标系中的情况。
在[26],[28],[54],[76]–[78]中,不仅考虑了车辆状态的当前值,还利用了其轨迹历史以提升变道意图推断性能。变道操作被视为一个动态过程,时序数据被输入至动态贝叶斯网络、隐马尔可夫模型(HMM)或长短期记忆(LSTM)等算法中。尽管轨迹历史可以提供关于车辆的更多信息,但它要求感知系统在较长时间内对目标实现稳定检测,而由于传感器限制或遮挡,在某些情况下难以实现。
转向信号是驾驶员变道意图推断的一种实用解决方案。然而,该信号也可用于其他行为,例如特定方向转弯。许多研究人员已开展研究,表明转向信号作为变道指示器在敏感性方面存在一些问题,尤其是在推断传统自车驾驶员变道意图时。然而,随着越来越多的传感器和高精度地图被应用于自动驾驶车辆,转向信号可与其他信息(如道路类型)结合使用,以提高其在变道预测中的敏感性。

3) 驾驶员行为

驾驶员的行为,如眼动和头部运动,被广泛用于检测自车驾驶员的意图。由于传感器的限制,很难利用这些信号来预测周围车辆的意图。然而,随着相关技术的发展,例如车对车通信,这些信号在未来可能会变得可用。驾驶员行为信号主要包括驾驶员的眼动和头部运动。其他一些身体行为信号,如脑电图、脚、手和身体手势,也被用于自车驾驶员意图推断。

4) 特征选择

关于驾驶员意图预测已有大量研究。同时,大量不同的变量或参数被用作变道推理系统的输入。这些参数也被称为情境特征。随着感知技术的不断发展,可用特征的数量也在增加。因此,在开发变道推理系统时,选择最关键的特征作为输入正变得越来越重要。特征选择的目标有三个:提高预测器的预测性能,提供更快且更具成本效益的预测器,以及更好地理解生成数据的潜在过程。
Schlechtriemen等[24]提出使用受试者工作特征(ROC)曲线下的面积(AUC)来评估每个特征。每个特征的预测能力定义为:

$$
AUC_t(t_m) = AUC_{total}(F_t = t_m)
\quad (2)
$$

其中$F$是特征向量,$t_m$表示变道标记前的时间,而$AUC_{total}$定义为:

$$
AUC_{total} = \sum_{c \in M} AUC_c \cdot p(c)
\quad (3)
$$

其中,$M$是操纵的总和,$p(c)$为相应的概率。根据公式,预测能力还考虑了使用每个特征作为输入时变道操作能够被预测的提前程度。结果发现,在变道前的不同时间点,不同特征的贡献程度各不相同。该方法需要操纵分类器的输出,因此结果也受到分类算法的影响。其他一些研究人员采用统计方法——方差分析(ANOVA)来评估特征对车道变换的预测能力。类似地,在评估中也考虑了变道前的时间。Leonhardtet al. [32]将数据集分为两组:变道和车道保持。通过计算p‐值来评估零假设 $H_0$,以确定某一特征在两个数据集中的期望值差异是否具有统计显著性,其中$H_0$表示两个总体的期望相等。与前述曲线下面积方法不同,方差分析法不依赖于分类算法的输出,研究人员可以在选择特定分类算法之前进行特征选择。该方法仅反映各个特征与变道操作之间的相关性。
Das et al.[73]选择了Boruta算法,因为它采用了“全相关”特征选择方法,能够选出所有与结果特征相关的特征。
表II展示了在[24],[32],[94]中研究的一些特征。“变道时间”反映了相应特征可用于预测变道的提前程度。这些值是通过合并所有效应量大于0.5的时间间隔得出的,在[32]中进行了评估。

除了评估哪些特征能提供最强的预测能力外,根据[95],研究特征组合对于提升预测性能也具有重要作用。黄等通过应用熵分析评估了不同的特征选择组合,并计算了熵相关系数。研究发现,某些特征组合实际上会损害系统的不确定性水平。因此,在为系统选择输入特征时,应避免某些组合。

B. 变道操作推断的输出

周围车辆的变道操作推断输出可以有不同形式。最简单且最常用的方法是二进制类型输出。这类方法输出一个标志,指示相关车辆是否将要或正在执行变道操作。这种二元输出便于下游控制器使用,但提供的变道可能性信息较少。另一种输出还根据驾驶操作类别的定义,给出变道及其他操作的概率。在这种情况下,下游控制器能够根据变道概率做出不同的响应。例如,在[27],[97]中预测了每个预定义驾驶操作的可能性。读者可参考表IV了解一些选定论文中的输出类型。
变道提前时间是下游控制器规划自车运动的一个重要变量。然而,变道提前时间通常并不是变道推理系统的直接输出。尽管如此,大多数研究评估了推理系统能够多早识别出未来的变道操作。也有一些研究特别关注在已经识别出未来变道操作后,对变道提前时间进行研究。

C. 变道操作推断算法

用于变道推断的算法通常可分为两种不同方法:基于模型的方法和机器学习方法。近年来,机器学习方法在此领域变得非常流行,并可进一步分为生成式方法和判别式方法。生成式方法更适合多目标算法,而判别式方法主要用于单目标算法。神经网络作为机器学习技术之一,根据其结构的不同可以是生成式模型或判别式模型。然而,由于神经网络的广泛应用,本文将其单独归为一类,如图8所示。

示意图7

1) 基于模型的方法

第一种方法基于一组驾驶员行为模型。系统并行地持续运行多个版本的行为模型,每个模型代表不同的驾驶员操作,如变道和车道保持。系统收集来自驾驶员的可观测数据,并将每个模型的模拟行为与驾驶员的实际观测行为进行比较。然后使用某种相似性度量来确定最佳匹配模型,从而推断驾驶员最可能的当前意图。这类方法在开发驾驶员模型方面投入了大量精力。分类方法有时基于一些机器学习算法。
另一种方法试图对驾驶员的决策过程进行建模。该方法通常基于这样的假设:驾驶员总是选择能够在安全与舒适之间达到最佳平衡的驾驶操作。某种特定驾驶操作的好坏通常被表述为一个成本函数。目标车辆及其周围车辆所有可能的驾驶操作的成本将被计算,预测的驾驶操作将是成本最小的操作。例如,Sorstedt et al.根据反映安全、舒适性和期望速度的成本函数,将驾驶员近似为一个最优控制器。Lawitzky et al.通过评估所有交互车辆之间的碰撞概率来预测驾驶员的驾驶操作,假设驾驶员基于对周围驾驶员意图的估计来局部优化其轨迹。
示意图8

然而,这种方法会导致随着车辆数量增加而呈指数级增长。为解决此问题,Schwarting et al.以递归方式检查驾驶操作组合,每次仅考虑成对车辆而非所有车辆同时考虑。Schlenoff et al.采用了类似的方法,同样利用了基于车辆动力学得到的短期车辆状态预测。
基于模型的方法通常具有良好的可解释性,并能提供长期预测。然而,成本函数或相似性度量的调优通常具有挑战性。此外,假设所有车辆都会试图避免碰撞,在某些情况下可能并不成立。一些危险换道可能无法被预测,因为驾驶员的决策基于不精确的感知和信息。此外,在上述研究中,假设所有驾驶员都可以用同一模型来描述。实际上,驾驶员具有不同的驾驶风格,从而导致不同的行为。如何准确识别驾驶员的驾驶风格仍然是一个具有挑战性的问题。

2) 生成式方法

生成式方法广泛用于变道推断。贝叶斯网络模仿类人推理和决策。在某些研究中,当假设所有特征相互条件独立时,其中最直接的之一贝叶斯网络、朴素贝叶斯分类器可用于。贝叶斯网络在每个时间步进行计算和分析,而不使用历史数据。一些研究将驾驶视为一个动态过程,并将贝叶斯网络扩展为动态贝叶斯网络。由于驾驶员意图受驾驶员特性影响较大,Liu et al.[76]还在贝叶斯网络中考虑了驾驶员特性,如图9所示。作为一种提高探索可接受结构模式效率的方法,面向对象的贝叶斯网络被应用于。隐马尔可夫模型(HMM)可被视为一种动态贝叶斯网络,是建模时间序列数据的另一种方法。在[59]中,结合高斯混合模型的连续隐马尔可夫模型被用于建模变道和车道保持行为。

3) 判别式方法

与生成式方法不同,判别式方法不需要对证据变量之间的依赖关系进行建模。在[33],[112]中,支持向量机(SVM)被用于估计驾驶员意图,并应用于轨迹预测。Kumar 等[113]在多类分类器的基础上使用了贝叶斯滤波器,以提高预测的可靠性。预期滤波器引入的平滑效果将降低误报率和漏检率。在[114]中,采用了一种称为相关向量机的SVM的贝叶斯扩展方法,用于区分变道和车道保持。胡等[115]提出了一种基于决策树的方法,用于切入场景中制动或变道操作预测的决策。在一些研究中,使用了大量特征来分析驾驶员意图。这些特征之间的独立性难以假设。此外,数据集极易受到噪声和异常值的影响。为了解决这一问题,采用了随机森林算法对驾驶员意图进行分类,该算法由多个决策树集成而成。通常情况下,判别式方法针对分类问题本身优化其模型参数,而不是描述变道过程。

4) 神经网络

神经网络是另一类被广泛使用的算法。在[116]中,提出了用于横向运动预测的概率多层感知机(MLP)。基于每条目标车道的一组代表性轨迹,MLP模型提供了车辆以高速数据集跟随各轨迹和各车道的概率。在[117]中,使用卷积神经网络(CNN)并以MobileNetV2作为特征提取器。Lee 等提出了一种基于CNN推断交通参与者变道意图的方法,以增强自适应巡航控制(ACC)。一些其他研究也选择CNN来预测车辆行为。循环神经网络(RNN)与典型神经网络的不同之处在于其包含反馈连接,这使得RNN适用于时间序列问题。典型的RNN缺乏贝叶斯网络等概率图方法的可解释性。为了解决这一问题,Patel 等[63]提出了一种复合RNN模型,采用结构化循环神经网络学习因子函数,从而结合图模型的高层结构与RNN的序列建模能力。RNN的问题在于输入会随时间呈指数衰减或增长,导致训练困难。长短期记忆(LSTM)通过使用门控系统克服了这一问题。LSTM具有记住任意长时间值的特性,使其能够克服梯度消失问题。因此,LSTM被广泛应用于驾驶员意图预测。Deo 等[26]提出了一种LSTM模型,用于高速公路交通场景下的车辆操作和轨迹预测。利用周围车辆的轨迹历史,该LSTM

示意图9

网络提供了横向和纵向操作类别的概率,如图10所示,其中变道是横向机动之一。在[72],Scheel et al.的研究中,在LSTM网络顶部增加了一个注意力层,以提高推理性能和可解释性。一些研究结合了不同的神经网络以实现更好的性能。例如,文献[128],[129]中同时使用了LSTM和卷积神经网络。
总体而言,基于模型的方法和生成式方法比其他方法具有更好的可解释性。判别式方法通常具有良好的分类性能,因为其模型参数针对分类进行了专门优化。然而,它通常无法提供变道概率。神经网络通常需要大量数据集进行训练,但有多种工具可用于简化开发过程。不同方法的优缺点总结见表III。部分选定论文所使用的算法列于表IV。

五、验证与评估

A. 系统验证

大多数变道推断系统由设计这些系统的相应研究人员使用真实驾驶数据进行验证。这要求研究团队拥有配备所有必要传感器、数据采集和处理系统的测试车辆。尽管这种验证方法具有说服力且可信,但设置测试车辆需要大量努力。因此,部分研究工作是通过使用仿真平台。另一种选择是使用公开的现实世界数据集来验证系统,例如下一代仿真(NGSIM)、highD、车辆意图预测(PREVENTION)、安全驾驶试点模型部署数据(SPMD)和战略公路研究计划(SHRP2)。NGSIM美国101号公路(US‐101)和80号州际公路(I‐80)高速公路数据集被广泛应用于许多研究工作中。这些数据集由基于视觉的高速公路监控系统采集,每个数据集包含以10Hz频率记录的45分钟真实高速公路交通轨迹,并分为三个15分钟时段,分别代表交通拥堵形成过程、非拥堵到拥堵状态的过渡以及高峰时段的完全拥堵状态。
文献[76],[136]中使用的highD数据集与NGSIM非常相似,它使用无人机记录一段高速公路的交通情况。这些数据集减少了搭建测试环境所需的工作量平台并进行数据采集,帮助不同研究人员轻松比较其算法的性能。然而,这些数据集并非从智能车辆的视角收集,因此最终的车载预测仍需进一步验证。一些研究人员使用了自车视角下采集的数据集,例如在[134]中使用的PREVENTION数据集。PREVENTION数据集通过在自然驾驶条件下行驶的装备车辆,利用6种不同类型(激光雷达、雷达和摄像头)的传感器采集,提供了冗余性和互补性。

B. 性能评估指标

对于二元输出,变道操作推断结果可以分为四类:

真正例(TP) :正确推断为变道操作的变道操作
假正例(FP) :将车道保持操作错误推断为变道
真负例(TN) :正确推断为车道保持操作的车道保持驾驶操作
假负例(FN) :将变道操作错误地推断为车道保持

使用上述四类,典型分类器的分类性能通常可通过以下指标进行评估:

精确率(PRE) :在所有被预测为变道的事件中,正确分类为相应变道的比例。
$$
PRE = \frac{TP}{TP + FP}
\quad (4)
$$

真正例率(TPR) ,也称为召回率:在所有实际变道事件中,正确分类的变道事件所占的比例。
$$
TPR = \frac{TP}{TP + FN}
\quad (5)
$$

假正例率(FPR) ,也称为漏报率:在所有实际车道保持事件中,被错误分类为变道的比例,
$$
FPR = \frac{FP}{FP + TN}
\quad (6)
$$

由于变道推理系统持续预测车辆的变道操作,因此很难直接计算真阴性(TN)事件的数量。有时会改用每单位时间的误报次数。
有时,准确率(ACU)也被用于衡量分类性能。它是所有预测驾驶操作中正确分类的驾驶操作所占的比例。
$$
ACU = \frac{TP + TN}{TP + FP + TN + FN}
\quad (7)
$$

然而,对于车道保持样本远多于变道样本的不平衡测试数据集,准确性可能会产生误导。因为即使分类算法将车辆的每个测量样本都预测为车道保持,也会导致较高的准确性。
对于特定的推理系统,通常可以通过仅改变推理系统中使用的阈值,有意地使其分类性能偏向上述某个指标。这些指标之间始终存在权衡关系。例如,通常可以在增加假正例率的代价下提高真正例率。对于某些系统,期望的假正例率为零,此时需要牺牲精确率和真正例率。考虑到这种权衡效应,F1分数被广泛用于评估在特定阈值选择下的变道推理系统的分类性能。它可以被解释为精确率和召回率值的加权平均值:
$$
F1 = \frac{2 \cdot PRE \cdot TPR}{PRE + TPR}
\quad (8)
$$

通过调整阈值而不修改推理系统的其他部分,也可以改变F1分数。作为一种在不考虑阈值的情况下评估变道推理系统分类性能的方法,受试者工作特征(ROC)曲线下的面积(AUC‐ROC)被广泛计算。ROC曲线是真正例率(TPR)与假正例率(FPR)之间权衡关系的图形表示。AUC‐ROC越大,表示平均性能越好。类似地,也可以使用精确率‐召回率曲线下的面积,其中精确率‐召回率曲线展示了精确率作为召回率函数的变化情况。
除了上述分类性能外,研究人员还需要考虑推理系统预测变道的提前程度。对于自动驾驶系统而言,尽早预测周围车辆的变道操作至关重要。这是比较不同推理系统性能的另一个指标。通常使用变道提前时间作为指标,来体现提前预测变道操作的能力。
$$
\tau_{LC} = t_{LC} - t_I
\quad (9)
$$

其中,$t_I$是变道推理系统首次判断目标车辆将进行变道的时间。$t_{LC}$是目标车辆执行变道操作的时刻,其定义在不同的研究工作中有所不同。Woo 等[33]将其定义为目标车辆跨越道路中心线的时刻。而在其他研究中,变道时间被定义为目标车辆跨越车道线的时刻。变道提前时间与分类性能之间通常存在权衡。研究人员必须在两者之间进行平衡。Julian 等[25]表明,通过调整阈值,可以在显著降低假正例率的同时缩短变道提前时间。

六、挑战与未来工作

A. 提升感知能力

由于感知能力有限,一些先前开发的变道推理系统只能在变道操作已经执行后才能检测到。当周围车辆在传感器视野之外进行变道操作时,例如前文讨论的近距离切入场景,情况更具挑战性。可以在不增加附加传感器的情况下应用某些技术来提升性能,例如[15]中使用的基于部件的车辆检测方法。另一种更直接提高推理性能的方法是使用更多的感知设备以扩展视场范围,并检测更多有用的变量。例如,近年来越来越多的研究人员考虑并使用了车对外界通信和高精度地图来进行变道推断。尽管附加传感器存在其限制且会增加成本,但仍需进一步研究以探索其在变道推断中的潜力。

B. 测量噪声处理

变道操作推断系统的输入来自安装在智能车辆上的多个传感器车辆。不同的传感器在环境检测方面存在各自的限制,如第三节所述。目前,多种技术正被应用于智能车辆,以提高感知输出的分辨率、准确性和可靠性,例如卡尔曼滤波器和粒子滤波器等。然而,感知噪声和不确定性无法完全消除。此外,随着引入更多特征(如环境上下文)用于变道推断以提前预测时间,测量噪声也变得更大。不同输入信号的噪声水平也各不相同。如何根据输入信号的噪声水平来有效利用这些信号,仍需进一步研究。一些先前的研究在开发变道推理系统时尝试对传感器不确定性进行建模。例如,Kasper et al. 将传感器噪声视为高斯分布,并通过贝叶斯网络类对不确定性进行建模。然而,此类研究的数量有限。此前的研究并未深入探讨测量噪声对变道推理系统性能的影响。需要更专门的分析来研究测量噪声如何影响推断结果,以及如何在输入存在噪声的情况下提升推理性能。

C. 综合环境交互模型

用于变道推断的输入特征可以来自图5所示变道过程的不同阶段。每个特征以不同的方式影响最终的驾驶员决策。以往的研究主要通过驾驶数据的统计分析来研究输入特征与输出行为之间的关系,而对其内在的内部和相互联络缺乏深入探究。需要更全面的环境交互模型来捕捉特征与驾驶员决策之间的数学关系,尤其是战略性和战术性决策。此外,大多数先前的研究仅针对高速公路环境中无车道分离、汇合等情况的变道推断进行了研究。当考虑更复杂的情况时,例如在城市道路中,则需要更全面的环境模型。例如,Geng et al.尝试在预测城市环境中的驾驶员行为时,通过自适应地使用场景特定模型来解决这一问题。
天气是另一个可能显著影响变道推理系统的因素。不同天气条件的影响是双重的:它们不仅会影响第三部分中讨论的感知设备采集的数据质量,还会影响驾驶员执行变道操作的行为。El Faouzi et al.发现雨天条件会影响车辆之间的车头时距。大雪可能导致自由流速度降低多达 30∼40%。Das et al.发现变道分类器在不同天气条件下的性能未能保持一致。在将天气作为输入特征之一后,其检测精度有所提高。因此,对天气条件的影响进行建模是降低其对变道推断系统性能影响的另一种方法。

第七节. 结论

周围车辆的准确变道推断在保持智能车辆安全性和舒适性方面起着关键作用。本文重点构建该领域技术和研究的全面综述。变道决策源于驾驶员与环境之间的交互,因此,本文回顾了多种驾驶员行为和变道建模的研究,这些研究对推理系统的设计和输入特征的选择具有参考价值。根据所综述的研究论文,利用来自不同变道阶段的输入特征可能导致不同的性能表现。作为所有输入的来源,本文回顾并比较了智能车辆上配备的各种感知设备,包括它们的感知能力及其对变道推理系统的影响。作为本综述的核心部分,本文深入讨论和分析了用于变道操作推断的算法和验证方法。此外,还提出了一些潜在的未来研究方向,为更高级别自动驾驶中周围车辆变道推断的进一步研究提供参考。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值