夜间车队车辆跟踪系统

夜间自主车队驾驶：车辆跟踪系统

卡斯滕·弗里斯和汉斯‐约阿希姆·温舍航 空航天工程系自主系统技术研究所慕尼黑德 国联邦国防军大学，德国邮箱： carsten.fries@unibw.de

摘要

本研究所此前的文献描述了一种适用于白天条件的鲁 棒车辆跟踪系统。本文提出了一种改进的车辆跟踪系统，能够在 黄昏和夜间条件下检测并跟踪车队领头车。主要传感器设备包括 昼间相机、激光雷达和惯性导航系统。为了在各种光照条件下保 持系统的鲁棒性，增加了热成像相机和低照度相机。该系统能够 实时精确估计车队领头车的相对三维位置和姿态、速度以及转向 角，从而实现对领头车轨迹的跟随。另一项创新是将卡尔曼滤波 器与粒子滤波器耦合，以提高车辆跟踪的更高的稳定性与精度。
该车辆跟踪系统在夜间于城市及非结构化环境中完全自主行驶超 过50公里的过程中表现出优异的功能。

一、引言

近年来，工业界和科学界对自动驾驶汽车的兴趣持续 增长。半自动或全自动汽车在多个应用领域具有潜在优势。
与人类驾驶员相比，技术组件可以全天候工作且可靠性不 会下降，反应速度更快，并能观察到完整的360度环境。
一些优势包括减少交通事故、改善交通流、提高燃油经济 性以及为人类驾驶员节省空闲时间[1],[2]。
本文介绍了一种用于夜间运行的自动驾驶车队的车辆 跟踪系统（见图1）。该系统是我们之前在白天条件下成 功演示的车辆跟踪系统的扩展[3],[4]。与之前的版本相比， 主要改进之处在于：
• 使用多个相机传感器（低光照、热成像和日光相机） 进行夜间车辆检测。
通过将卡尔曼滤波器与粒子滤波器耦合，实现车辆跟踪的更 高稳定性与精度。
本文的结构如下：在下一节中，我们介绍了车辆检测 与跟踪方法的相关工作。第三节阐述了所提出方法的预处 理步骤。第四节详细描述了车辆跟踪系统。第五节展示了 在城市和非城市环境中行驶时收集的实验结果。最后，最 后一节给出了本研究的结论和未来工作。

II. 相关工作

相关工作主要关注关于夜间车辆检测与跟踪解决方案的文献。
大多数作者使用一种传感器[7]–[12]。一些研究将 （不同）传感器组合使用，以提高测量精度并增强对不同 天气条件的鲁棒性[3],[4],[13],[14]。常用的传感器包括 日间相机、红外相机、雷达和激光雷达。激光雷达和热成 像传感器的购买价格远高于雷达和日光相机。日光相机的 其他优势还包括功耗较低和分辨率较高。其缺点是图像质 量严重依赖光照和天气条件。相比之下，雷达和激光雷达 传感器对光照和天气变化更具鲁棒性，并且能够提供深度 信息，探测范围可达约200米。
传感器设备可安装在车辆上或固定在基础设施建筑上。
固定式跟踪系统主要用于交通监控。相比之下，车载系统 通常用于防止碰撞以及实现智能大灯控制[15]。固定式传 感器能够将静止背景场景从前景（交通参与者）中去除， 该方法称为帧差法或背景减除[16]。帧差法仅适用于恒定 光照条件[9]。但由于车灯在夜间会产生变化的光照效果， 因此陈等人[9]决定采用不同的方式检测汽车和摩托车的 前大灯和尾灯。他们使用日光相机，并通过多级直方图阈 值分割提取光斑。一种非
978‐1‐4799‐8757‐3/15/$31.00©2015IEEE
本文档由funstory.ai的开源PDF翻译库BabelDOCv0.5.10(http://yadt.io)翻译，本仓库正在积极的建设当中，欢迎star和关注。

静态车辆跟踪系统在[10]中进行了描述。其传感器设备包 括一个安装在汽车挡风玻璃区域的黑白微型相机。他们实 时检测具有相同行驶方向的车辆和对向车辆。一旦检测到 车辆，本车前大灯便会从远光灯切换到近光灯。图像处理 首先通过自适应阈值分割提取图像中的亮斑。随后，根据 几何特征过滤掉不符合条件的亮斑。剩余的亮斑用于车辆 检测，并利用卡尔曼滤波器进行跟踪。与基于图像的头灯 或尾灯检测不同的是，在[11]中引入了一种基于激光雷达 的感知系统。该算法通过考虑点间距将点云分割成片段。
分割后进行基于轮廓的分类步骤。例如，L形对应于汽车。
大多数相关文献对交通参与者的定位精度不高，仅需粗 略的二维位置和速度信息即可满足其应用领域的需求。在自 动驾驶车队领域，需要精确的三维车辆位置、姿态以及每个 本地车队领头车的速度信息。否则，跟随车将无法沿领头车 轨迹行驶，从而引发危险交通状况。例如，横向或纵向距离 估计错误会增加交通事故或基础设施碰撞的风险。
Himmelsbach等人[12]处理原始点云数据，以估 计车队领头车的相对三维位置和姿态及其速度。另一种方 法则使用激光雷达和摄像头信息进行此任务。Manz等人 [3]和[4]在离线步骤中为每种潜在车队领头车类型构建 详细的3D特征模型。粒子滤波器生成三维车辆假设。每个 假设都通过3D特征模型进行评估，并确定车队领头车的最 优三维位置和姿态。还存在其他采用预定义3D特征模型的 方法，例如[7]使用车辆挡风玻璃的3D边缘模型，而 [17]则创建不同车辆类型的完整3D线框模型。

III. 构建3D特征模型

我们的车辆检测算法需要为每种车辆类型提供一个描 述车辆特定特征的三维特征模型。模型生成是一个离线预 处理步骤，包括：
• 采集车辆侧面的三个正交视图
• 图像缩放与排序
• 显著特征选择：顶点、边缘、彩色/热区以及占用/ 非占用地面平面单元
• 将特征定位到其正确的三维位置 生成过程是手动完成的。图2展示了创建三维特征模型的 各个步骤。在此过程中，针对不同传感器类型选择显著特 征非常重要，这有助于提高对光照和天气条件变化的鲁棒 性。顶点、边缘和彩色区域适用于低光/日光相机，热区 适用于红外相机。当使用激光雷达数据生成占据栅格时， 占据和非占据地面单元具有实用性。一些典型的车辆特征 包括两个红色尾灯、两个明亮的前照灯、排气管上的高温 区域、车身下方和轮胎上的暗区、车牌边框上的四个顶点， 以及位于强度变化处的边缘。

IV. 车辆跟踪系统

车辆跟踪系统的目标是持续精确估计车队领头车的相
对圆柱坐标平移{距离 r,角度 α,高度 h}以及姿态{偏航 ψ,
俯仰 θ,滚转 φ}、速度 v和转向角 λ。该算法基于多 维粒子滤波器与卡尔曼滤波器的结合。第一步中，粒子滤 波器估计上述关于车队领头车的信息。其中部分测量值作 为卡尔曼滤波器的输入，从而提高了对由光照和天气变化 引起的测量误差的鲁棒性。
以下章节描述了粒子滤波器与卡尔曼滤波器的结合及 其状态初始化。有关这两种滤波器的通用且与应用无关的 描述，请参见[5]和[6]。

A. 滤波器初始化

如果其他车辆检测应用提供了前方车辆的信息，例如 我们基于快速模板的车辆检测算法[4],[8],，我们将使用 该数据初始化两个滤波器。否则，我们将 λ= 0、 v 设 置为自车速度，并将相对位姿
Pego→obj ={r, α, h, ψ, θ, φ}设置为{10, 0, 0, 0, 0, 0}。
该位姿是车队启动时最可能的情况。此外，向所有粒子状 态添加高斯噪声可以以适当的方式分布这些车辆假设。

B. 粒子滤波器

粒子滤波器是一个闭环系统，通过持续比较预测与测 量值来实现控制。以下两个步骤描述了该控制系统。

1) 预测：

多维粒子滤波器通过运动学自行车模型，并 结合从时间步 t − 1到 t的自车运动估计值[18]，对八
个状态值 x={Pe g o→ob j , v, λ}进行预测。P e g o t →ob j t 可
通过逆自车运动P e g o t →e g o t − 1 、上一相对位姿P e g o t − 1 →ob j
t − 1 和目标运动P ob j t − 1 →ob j t 的乘积来预测。目标运动可通 过考虑由阿克曼转向模型预测的 v和 λ确定。

2) 更新：

更新步骤确定测量值 y= Pego→obj ，以 修正第IV‐B1节中的预测。因此，所有 n粒子，或者说被
跟踪车辆的位姿假设 P1…n，都被投影到图像平面（见图
3(a)）。然后，利用模型特征来评估这些假设。每个假设
Pi ∈{P1… Pn}根据投影模型特征与当前图像数据之间
的特征一致性进行加权。为了实现这种特征匹配，需要在 当前相机图像中提取所有类型的特征。为了避免处理整幅 图像，建议仅在感兴趣区域进行特征提取，这将极大地减 少处理时间。特征提取的工作流程如下：
• 顶点角点检测通过计算图像梯度协方差矩阵的最 小特征值得到。
• EdgesCanny边缘算子[19]为每个相机图像生成 原始边缘数据。加权每个假设的标准是边缘之间的距 离、方向差异和强度差异。两个边缘之间的距离可通 过欧氏距离计算。两个边缘的成对离散化产生一组点 对应关系。然后，两个边缘的距离是点间距的算术平 均值。像素值对应于边缘强度。
• 彩色/热力区域通过 1… m四边形定义彩色和热区，
以高效评估数百个假设。典型颜色区域包括白色、黑 色、琥珀色和红色。平滑的HSV色彩空间适用于

利用颜色信息。冈萨雷斯和伍兹在[20]中描述了 从RGB图像到HSV色彩空间的变换。我们将此色 彩空间变换与一种快速平滑算法级联，以减少像 素噪声。下一步是为每种颜色或相应的色调范围 生成二值图像掩码（见图4(a)）。简单阈值处理是 实现该步骤的一种可能方法。例如，一个具有色
调值 h ∈[0… 360]、饱和度值 s ∈[0… 1]和亮度
值 v ∈[0… 1]的像素值(u, v)，如果满足以下三个
夜间特定条件，则被分类为红色像素：
h ≤ 40 or h ≥ 320 (1) s ≥ 0.36 (2) v ≥ 0.36 (3)
较大的 s和 v范围允许在不同光照条件下进行 颜色分类。热区的处理方式类似。对特定温度值 进行图像阈值化，可生成该温度的二值图像掩模。
每个二值掩模可用于评估投影模型特征与当前图 像数据之间的特征一致性。考虑到数百个粒子的 计算效率，建议计算线积分图像([21],[22])以分析
特征一致性。由二值图像 IB生成线积分图像 IL
的过程可以并行处理。每个像素(u, v)接收从该行 起始位置开始的像素值的累积和。
IL(u, v)=
u
∑
i=1
IB(i, v) (4)
在公式(4)中， u和 v分别对应图像的列和行。图 4(b)显示了一条从左到右进行像素值求和的积分图像， 以伪彩图像的形式可视化以展示该求和结果。
使用线积分图像对颜色和热四边形进行评估时，需要
将每个四边形离散化为线条 l 1…l 。估算像素的总和
v end
∑
i=v start
I L(uend , i)− I L(ustart , i)
978‐1‐4799‐8757‐3/15/$31.00©2015IEEE
一个四边形仅需要 l次减法和加法。 ustart和 uend 表示一行的第一个和最后一个图像列坐标。 vstart
和 vend表示一个四边形的第一个和最后一个图像行。
每个位姿 Pi ∈{P1… Pn}根据像素和进行加权。如
果像素和较高，则该假设获得高权重。
• 已占用/未占用单元格
占据栅格的大小为 100 × 100m，由 20 × 20cm的单 元格组成。如果激光束击中某个单元格，则该单元格 被分类为已占据。每个单元格的概率值可通过障碍物 信息随时间累积来预测。数据累积的时间范围越长， 移动物体产生的阴影越多。因此，我们不建议进行障 碍物累积，以避免对车辆检测产生负面影响。
如果预测占据（3D车辆假设下的地面区域）与测量占据相 匹配，则每个位姿 Pi将获得更高的权重，反之亦然。
上述特征用于对粒子和假设分别进行加权。这使得能 够修正预测状态值并对粒子进行重采样。在更新步骤之后， 控制系统根据运动学车辆模型重新开始对下一步时间的状 态值预测。
我们之前的出版物[4]表明，位姿 Pego→obj的良好整 体估计值来自整个粒子集最优的10%的算术平均值。与此 相反，我们通过使用权重最高的粒子作为卡尔曼滤波器的 输入，实现了更高的稳定性与精度。
有两种方法可以使用粒子滤波器实现多相机支持：
• 每台相机分配到独立的粒子滤波器，这种方法在相 机外参标定不精确的情况下较为推荐。对于每个粒子 滤波器，使用权重最高的粒子作为序贯卡尔曼滤波更 新的输入[23]。通过这种方式，相机外参标定误差在 时间上是可预测的。
• 如果相机之间的外参标定精确，则更计算高效的方 法是所有相机共用一个粒子滤波器。这样做时，粒子 与相机的相关性是均匀分布的。

C. 卡尔曼滤波器

卡尔曼滤波器是一种反馈估计系统，通过持续比较预 测值与测量值来进行估计。我们使用缩放无迹卡尔曼滤波 器（SUKF）[24]进行非线性状态估计。

1) 预测：

卡尔曼滤波器利用运动自行车模型和自车运动[ 18 ]，
在时间步 t−1到 t之间预测八个状态值 x={Pe g o → ob j , v, λ} 。

2) 更新：

卡尔曼滤波器的测量值 y= Pego→obj是 权重最高的粒子。每次测量都会产生一个滤波器新息，用
于校正预测状态值 x：相对位姿 Pego→obj、物体速度 v
和转向角 λ（阿克曼转向几何）。该修正过程使用输入
的测量值 y、其预测值 y 以及卡尔曼增益矩阵 K：
xˆ= x+ K ·[y − y ] (5)
关于卡尔曼滤波器新息的详细描述可参见[24]。

V. 实验结果

本节展示了在自动驾驶车队行驶过程中的车辆跟踪结果（见图5）。
夜间车队参与者的最大数量为两辆车，黄昏时最多为三辆 车。车辆包括一辆名为MuCAR‐3（慕尼黑认知自主机器人汽
车 3rd代[25]）的大众途锐、一辆大众途观（MuCAR‐4） 和一辆大众高尔第四代。图1展示了黄昏时的这些车辆。途锐 和途观能够完全自主地行驶，而高尔第四代则作为手动驾驶的 车队领头车。MuCAR‐4的硬件设备与MuCAR‐3类似：

我们的惯性导航系统（INS）由一个惯性测量单元（IMU）与差分GPS结合，采用实时动态定位（RTK） 技术，将定位精度提高到约2厘米。
• 一个可移动相机平台[26]，配备三个日间相机和一 个低照度相机，安装在挡风玻璃后方。日间相机具有 1296 x 966像素，在白天提供20帧每秒的图像。
日间相机由于增加的曝光时间，在低光照条件下 可提供5‐10帧/秒的帧率。相比之下，具有1280 x 960像素和85 dB动态范围的低照度相机能够持续 以10帧/秒运行。
两个传感器安装在车顶。第一个是分辨率为 640 x 480 像素、光谱范围为 7.5 至 13 μm 的非制冷热像仪。
其测量范围从 ‐20°C 到 150°C，绝对测量精度为 ±2 °C。第二个传感器是激光雷达，具有 360° 水平视场、 26.8° 垂直视场和 10 Hz 旋转速率。
该软件运行在一台配备双路Intel Xeon L5640六核处理器 的计算机上，并允许使用其中的四个核心。
每辆车都配备了一个惯性导航系统和一个用于在车辆 之间传输GPS坐标的无线电组件。这种车对车通信仅用于
通过从自车到目标位置的变换生成真实数据 $PGT_{ego→obj}$。

	maxnight	εnight	εtwilight	εday	ε日间旧值
r(m)	32.7	0.34	0.31	0.29	0.27
α(◦)	37.9	0.87	0.82	0.56	0.30
h(m)	0.76	0.08	0.06	0.06	0.06
ψ(◦)	84.6	2.41	1.82	1.21	1.16
θ(◦)	2.19	1.47	1.45	1.16	1.16
φ(◦)	0.94	0.67	0.50	0.45	0.45
v(m/s)	20.7	0.32	0.32	0.27	0.38

表I：与真实值相比的跟踪精度 ：评估值为柱面坐标下的相对位置 {r, α, h}和姿态{ψ, θ, φ}以及目标速度 v。maxnight表示夜间最大状态值，εnight表示夜间车辆跟踪的均方根误差。εtwilight和εday分别表示黄昏和白天的误差。εdayold表示先前文献[4]中的均方根误差。

总体而言，行驶长度为5km，包括道路 和非结构化地形。在此过程中，MuCAR‐3完全自主地控 制油门、刹车和转向。跟踪算法实时运行，具备精确位姿 估计能力，可在黄昏时支持高达28 m/s的车队速度，在夜
间支持 21 m/s的车队速度。
该系统的性能在德国慕尼黑郊区一条具有挑战性的20公里路 线进行了测试。在34分钟的自动驾驶过程中，无需手动干预。此 次两车车队行驶中，MuCAR‐4作为手动驾驶的车队领头车，避 开了（简单的）高速公路，主要集中在城市和非城市环境，全程 处于正常公共交通中。MuCAR‐3为自主跟随车。图6和图7显示 了完整路线中12公里的部分路段。更多视觉印象可在YouTube 上查看：http://youtu.be/Q8wtJYOg64
该跟踪系统能够应对雨天、急转弯、隧道（见图3和图 7(b)）、门以及灌木、高草或雨刷等部分遮挡情况。此外， 系统具备实时性，总循环时间在20到60毫秒之间。

VI. 结论与未来工作

A. 结论

本文描述了一种用于车队自主驾驶的车辆跟踪系统。
准确确定特定车队成员的相对车辆位姿、速度和转向角对 于精确路径跟随至关重要。通过将粒子滤波器与卡尔曼滤 波器耦合，我们能够提高此前论文[4]中车辆跟踪的稳定 性和精度。
车辆跟踪系统基于详细的三维特征模型，这些模型由 显著的车辆特定特征组成。模型生成是一个离线预处理步 骤，其中每个特征根据传感器类型手动选择。
我们的车辆跟踪系统支持多个摄像头，并将[3],[4] 的白天功能扩展至黄昏和夜间可操作性。为了应对黄昏和 夜间光照条件下的车辆跟踪，必须集成低光照和热成像相 机。360°激光雷达传感器提供深度信息，在（本地）车队 领头车驶出摄像头视场时是必需的。
我们在城市和非结构化地形中进行了自动驾驶，利用真 实世界的数据对跟踪系统进行了评估。MuCAR‐3 在由两到 三辆车辆组成的自动驾驶车队中行驶了超过 50 公里。该实时 跟踪系统在夜间及不同天气条件下均表现出良好的可靠性。

B. 未来工作

我们的卡尔曼滤波器工作效果未达到最优，需要进一 步研究。卡尔曼滤波通常要求测量和过程噪声为白噪声。
当使用权重最高的粒子作为卡尔曼滤波器的输入时，白噪 声的假设无法满足。