基于传感器融合的地图验证

最新推荐文章于 2025-12-02 20:41:06 发布

原创最新推荐文章于 2025-12-02 20:41:06 发布 · 603 阅读

29 ·

CC 4.0 BY-SA版权

文章标签：

#传感器融合 #高精地图 #地图验证 #自动驾驶

基于传感器融合的自动驾驶在线地图验证

摘要

高精度地图是自动驾驶汽车软件栈中不可或缺的组成部分，包含对静态环境的精确表示。预测、运动规划和车辆行为在很大程度上依赖于高精地图的精度。然而，制图过程中的一个关键问题是环境本身会随时间变化，导致现实世界与高精地图中的过时信息之间出现不一致。因此，验证高精地图特征成为影响自动驾驶汽车精度和安全性的决定性因素。直观上，可以通过将地图信息与获取的传感器测量数据进行关联来实现验证。尽管单个传感器容易产生误差，但融合多个传感器的测量数据能够更准确地表示车辆周围环境，从而可用于更可靠的高精地图验证机制。本文提出了一种实时方法，利用传感器融合提供的更精确估计作为输入，来验证高精地图。所提出的解决方案将高维度的地图验证问题分解为多个独立的一维估计器，每个估计器能够为各个独立的地图特征（如线条、路缘石和车道线）提供有效性概率。

一、引言

全球每年约有120万人死于道路交通事故，多达5000万人受伤[8]。尽管死亡人数在统计上呈下降趋势，但由于94%的道路交通事故死亡人数是由人为错误造成的，道路安全性仍然是最大的挑战[1]。自动驾驶汽车将提升安全性[3]，并显著改变社会的出行方式。高精地图提供了传感器视野范围之外的环境信息以及相对于周围交通的安全驾驶环境，这使得高精地图成为自动驾驶汽车系统中的关键组成部分。

为了提供对车辆行驶环境持续可靠的感知，采用了多种类型的传感器。激光雷达（用于障碍物位置和形状）[9]、雷达（用于估计物体运动）以及视觉（用于精确的语义和距离信息）[10]。此外，为了更深入地理解环境，现有架构依赖于多种传感器的组合，以弥补单个传感器模态的不足[12][11],[5],[14]。

为了向自动驾驶系统提供最新的环境信息，高精地图必须通过更新现实世界中的变化来保持最新数据。存在一些影响环境地图解释的不确定性因素。不同的地图生成方法使用不同的模型，每种道路模型都会导致由高精地图与感知环境之间的不一致所导致的误差。由于传感器偏差和标定误差等多种因素，高精地图中表示的元素并不准确。自动更新可以提高高精地图的精度，并修正地图的变化。每次更新时，自地图创建以来，验证高精地图对于规划精确且安全的轨迹至关重要。物理特征的变化若未在高精地图上反映，可能导致自动驾驶因对周围环境信息理解错误而引发意外问题。例如，规划系统可能因使用未更新的高精地图而对行为和轨迹做出错误决策。示意图0

尽管相关解决方案不多，但已有若干文献提及地图变化与验证问题。[7]中提到了一种在后端流程中计算变化检测，并通过车辆队列验证地图以评估地图特征的方法。该方法采用增强型粒子滤波方法，结合全球导航卫星系统和路标读数来实现车辆定位。此外，利用单个粒子假设计算度量，以估计传感器读数与地图特征之间的对齐误差。然后将该对齐误差与来自车辆队列的众包误差进行比较，以确定地图特征的变化。

在[2]中，作者提出了两种地图验证方案。第一种方法基于时空测量相关性，在网格空间中建模地图的有效性；第二种方法则使用深度神经网络对场景进行分类，判断其有效或无效。

在本研究中，我们提出了一种利用融合到栅格地图表示中的测量数据来实时验证高精地图的解决方案。该方案将整体高维地图验证问题分解为多个独立的一维估计器。每个估计器通过分析形状、语义和位置上的差异，能够为每个独立的地图要素（即线条、路缘石和车道线）提供有效性概率。这使得执行速度更快，同时在高精地图与融合估计结果不一致时，能够在规划栈中实现细粒度的决策。此外，由于每个要素在估计有效性时仅依赖于其感兴趣区域（局部栅格空间）周围的投影信息，因此计算和算法开销也得以降低。

本文的其余部分结构如下。下一节介绍了整体的在线地图验证系统架构。第三节描述了所提出的地图验证解决方案及其主要步骤。第四节展示了实验结果，而结论在最后一节中给出。

II. 系统概述

本节概述了整体地图验证系统，并重点介绍了其主要子组件，如图2所示。该处理流程可分为四个主要步骤。在流程的第一阶段，通过各个传感器接口获取原始传感器数据，并将其处理并转换为紧凑的数据结构。每个传感器都有其对应的测量模型和测量值。在对相机和激光雷达的原始数据进行预处理后生成了立体地面语义和激光雷达标记。

示意图1

在管道的第二阶段，来自传感器设置的测量值被整合到独立的网格通道中。传感器通道通过融合多个传感器的测量值来计算，同时每个传感器的测量值也会贡献给多个通道[6][14][13]。新测量值通过在固定时间间隔内使用Dempster‐Shafer证据理论累积所有可用传感器的范围信息来进行集成。具体而言，在本研究中我们计算了地面标记通道、激光雷达强度通道和地面语义通道。

对于地面标记通道，立体轮廓和激光雷达stixels通过相同的Dempster‐Shafer证据理论进行融合。因此，每个单元格由占用、空闲和未知的置信度描述，并可通过应用焦元变换转换为传统的占据概率。有关通道融合的更多细节可参见[6][5]。需要注意的是，地面标记通道仅整合那些预先分类为“地面上的标线”的测量值，而丢弃其他标签的测量值，例如“树”、“汽车”、“行人”等。地面语义通道结合了立体视觉提供的语义信息。每个投影的物体标签（如“道路”、“地形”、“停止线”）都具有一个相关的置信度，该置信度由 Dempster‐Shafer变量表示。激光雷达强度通道在每个网格单元格中携带激光雷达强度。需要特别指出的是，本研究中使用的这三个通道具有相同的尺寸和分辨率，并且测量值是在相同的时间间隔内进行融合的。

处理流程的另一个阶段是分层地图。分层高清地图中的特征可以分为(a)几何和(b)语义。分层地图的几何层如图2所示，高精地图通过处理地图数据来构建区域视图。输出结果为密集的三维点云，用于推断派生的地图对象，并存储在几何层中。语义层为车道边界、停止线和可行驶区域等对象添加语义属性。这些对象包含交通速度、变道限制等详细信息。有关高精地图语义层的更多细节可参见[4]。地图先验层包含动态信息和人类行为数据。可能的例子包括交通信号灯切换顺序、典型情况下在信号灯前的平均等待时间、停车位有车辆的概率、停车位处车辆的平均速度等。自动驾驶算法通常将这些先验作为输入或特征纳入模型，并与其他实时信息结合使用。

实时知识层是地图中最上层的部分，可动态更新，包含实时交通信息。

最后，处理流程的最后阶段是下一节中描述的基于融合的地图验证过程。

三、基于融合的地图验证算法

地图验证过程的主要目标是提供一种定量地图评估机制，用以表达给定地图与周围环境的匹配程度（见图3）。接下来，我们将对如何以概率方式建模此类机制进行一般性描述。

A. 概率建模

设M表示时间t时的周围地图，该地图被表示为一组地图特征 M={m1,…, mK}，例如基础设施元素、停止线、车道边界等。我们使用 vi来表示地图特征 mi的有效性。更具体地说，有效性 vi是一个二元随机变量，指示每个特征 mi要么是 valid，要么是 invalid。我们还考虑到，一旦自车感知其周围环境，传感器融合模块（见图2）便会提供一组更为一致的估计值，并组织成三个通道：地面标线、地面语义和激光雷达强度。传感器融合模块提供的这三个通道用于为每个地图特征 mi在i= 1..K时提取一组观测Z。具体而言，对于每个地图特征 mi ，我们定义一个二维感兴趣区域，该区域整合了来自所有三个通道（地面标线、语义和激光雷达强度）的置信度。换句话说，每个特征都有一个局部占用网格，这是整合三个输入通道信息的结果。此外，每个特征都分配有一个由语义通道提供的语义标签。因此，占用网格和语义标签都被用来定义我们的输入观测Z。我们假设地图特征有效性值 v i 是独立状态变量。因此，高维地图验证问题被分解为多个独立的二元贝叶斯滤波器。

B. 使用迭代最近点（ICP）算法进行对齐

为了计算基于形状和距离的相似性，我们采用迭代最近点算法作为拟合方法。我们认为地图特征（即停止线、车道线等）和提取的局部占用网格均描述了刚体。直观上，所获得的ICP平移可用于估计地图要素 mi与融合观测Z之间的欧几里得距离。该距离越大，特征的有效性应越低。此外，ICP对齐误差为我们提供了地图到观测的形状不相似性的度量。

对于每个地图要素，我们定义两组点：一个模型集 P={p1 ,p2 ,.., pM}，包含提取的地图要素轮廓点，以及一个数据集 Q={q1 , q2 ,.., qM}，描述相关局部占用网格的轮廓点。在定义了这两个轮廓后，我们的目标是通过寻找最优旋转 R 和平移 T。因此，目标函数定义为
E(R, T)= ∑_{i=1}^N ‖Rpi + T − qi‖² (4)
其中 pi和 qi是两组点集中的对应点对，N为对应点总数N。所提出的对齐方法包括以下主要步骤。

1) 选择：对于数据集 Q中的每个点 qi，找到模型集 P中与其最近的点 pi。
2) 外点剔除：将欧氏距离 d(qi,pi)大于给定阈值 Dt的对应点对滤除。
3) 误差最小化：在此阶段，我们计算最优变换参数，即旋转角 α和平移参数 tx、ty 以及 tz。这是通过最小化目标函数(4)实现的，该函数可重写为：
E(R, T)=∑ {i=1}^N ∥ ∥ ∥ ∥ ∥ ∥ ∥ ∥ [ 1 0 α t x; −α 0 1 t y; 0 1 0 t z; 0 0 0 1 ][pi,x,y,z,1] − [qi,x,y,z,1]∥ ∥ ∥ ∥²
(5)
4) 应用变换：全局变换通过当前估计的旋转和平移进行增量更新。
5) 收敛：通过计算平均点对点距离来估计误差度量测量集和变换后的模型：
Err= 1/N ∑ {i=1}^N ‖pi − qi‖ (6)
如果误差小于给定阈值，则对齐过程停止，否则继续进行下一次迭代。

C. 有效性准则

在按照上一节所述将地图要素与融合估计对齐后，我们定义了三个决定地图要素有效性的似然分量。

1) 距离匹配 ：给定由(5)估计的平移分量tx和 ty，感知到的物体与地图实例之间的欧氏距离可简单表示为 dr=√(tx²+ ty²)。假设融合观测给出的刚体位置受到均值为零、标准差为 σd²的高斯噪声影响，则可定义基于距离的似然函数为：
p(zd | vi)= 1/√(2πσd²) e^(-dr²/(2σd²)) (7)

2) 形状匹配 ：为了估计基于形状的似然性，我们使用配准误差(6)作为形状不相似度得分。首先，利用对齐误差计算一个归一化的基于形状的距离：
d_s = min(Err / Err_max, 1) (8)
其中 Err_max 是允许的最大对齐误差，用于将当前对齐误差 Err归一化，使其取值范围在0到1之间。因此，基于形状的似然度 p(zs | vi) 表示为：
p(zs | vi)= 1/√(2πσs²) e^(-ds²/(2σs²)) (9)

3) 语义标签匹配 ：输入的语义观测以语义标签网格的形式给出。因此，感兴趣区域中对应于地图要素的每个单元格都被分配了一个语义标签 li，其中 i= 1..Nl，Nl为网格中的观测单元格数量。示意图2 为了建立基于语义的差异度评分，我们将所有语义标签累积成一个直方图。为简化处理，直方图中最频繁的标签被视为观测标签 lk。最后，语义似然p(zl | vi)根据观测标签 lk与地图要素标签 lf 之间的相似性定义。
p(zl | vi)= { α₁ if lk = lf; α₂ if lk ≠ lf } (10)
其中 α₁ 和 α₂ 是所选的相似度评分，使得 α₁ > α₂ 和 α₁ + α₂ = 1

IV. 结果

我们通过在自动驾驶车辆中部署该算法来评估地图验证方法的性能。在部署过程中，包含了11455个地图特征的地图要素有效停车线、车道边界和路缘石得到了验证。示意图3 从高精地图中提取的地图要素，以及通过融合地面标线、激光雷达强度和地面语义通道生成的融合估计。(b)使用ICP（迭代最近点）对融合估计与地图要素进行对齐。(c)显示两个轮廓之间对齐的收敛过程。)

图6展示了地图到估计的对齐过程的收敛情况。本案例以停止线为例进行说明。如图6(a)所示，利用地图要素提取融合估计，并生成一个感兴趣区域。在选定感兴趣区域后，地图要素以红色轮廓表示，而地面标线、激光雷达强度和地面语义的融合估计则以蓝色轮廓表示。特征轮廓和融合估计轮廓均作为ICP（迭代最近点）算法的输入。图6(b)显示了融合模块提供的初始估计地面标线轮廓（灰色），及其与对应地图要素（红色）的对齐结果（蓝色）。图6(c)展示了经过多次ICP迭代后，两两轮廓对齐逐渐收敛的过程。可以看出，对齐误差在2至4步后达到最小值。在执行对齐过程中，我们使用的离群值剔除阈值为0.6米。此外，图6(c)还显示了根据公式(6)和(8)计算得到的归一化对齐误差的收敛曲线。误差收敛容限通过实验估算，设定为0.1（10%）。

示意图4

图7展示了所提出方法在4个不同地图特征（停止线）上的应用。示例包括融合估计（灰色）、地图特征（红色）和对齐后的融合估计（蓝色）。即使在融合估计稀疏的情况下，如图7(c)所示，所提出的方法也能准确地对齐估计结果。在图7展示的相同示例基础上，表I给出了相应的定量结果。为了进行比较，我们首先计算了给定单次观测输入（形状、距离或语义）的有效性概率。然后，通过使用(3)将相同的观测输入组合在一起，计算总体有效性概率。对于表I中第2行和第3行的概率值，我们使用了两种不同的语义似然，即α₁对应第2行，α₂对应第3行。用于描述语义似然模型(10)的两个α₁和α₂值选择如下：当观测语义标签lk与地图要素标签lf相同时，我们使用α₁= 0.85（换句话说，语义似然为p(zl | vi)= 0.85）；当两个标签不同lk ≠ lf时，我们将语义似然设为p(zl | vi)= α₂= 0.15。用于计算p(vi | zd)和p(vi | zs)的标准差分别为0.4和0.5。

| 图 | p(vi | zd) | p(vi | zs) | p(vi | zl) | p(vi | Z) |
|—|—|—|—|—|
| 图7(a) | 0.7970 | 0.7949 | 0.5584 | 0.9577 |
| 图7(b) | 0.7815 | 0.7815 | 0.4747 | 0.9577 |
| 图7(b) | 0.7815 | 0.7815 | 0.4747 | 0.5714 |
| 图7(c) | 0.7975 | 0.7969 | 0.7969 | 0.9859 |
| 图7(d) | 0.7949 | 0.7949 | 0.6920 | 0.9753 |

表I 有效性特征概率

示意图5

图8展示了图7中轮廓的对齐误差。通常观察到，对于具有更密集融合估计的特征，其收敛速度相对较慢。在自动驾驶汽车中部署时，包含第三节所述所有步骤的总运行时间，每个地图特征在0.8毫秒到1.2毫秒之间。

五、结论

本文提出了一种利用融合估计对几何特征进行在线高精地图验证的方法。我们提出了将地图特征有效性分解为形状、语义和位置，以更好地解释结果。所提出的方法不依赖于参数或规则，这使得在最小调优的情况下能够验证更多的地图特征。将地图有效性分解为形状、距离和语义标签匹配的因子，提供了评估高精地图的灵活性。在后续方法中，我们计划在特征丰富的平衡数据集上对算法进行调优。