17、基于多分辨率图像分析和Gabor滤波器的高分辨率航空影像道路特征提取

基于多分辨率图像分析和Gabor滤波器的高分辨率航空影像道路特征提取

1. 引言

准确、详细且最新的道路信息在地理空间数据库中具有特殊重要性，因为它被应用于车辆导航、交通管理和高级驾驶辅助系统（ADAS）等多种领域。如今用于道路导航的商业道路地图或地理信息系统（GIS），基于以折线（即一系列节点和形状点，由线段连接）的矢量格式表示的线性道路中心线，这在子道路层面的准确性、内容完整性方面存在严重不足。例如，目前标准地图的精度约为5到20米。数字地图中的道路以不同颜色和宽度的线段表示，但线段宽度不一定能准确代表实际道路宽度。此外，现有道路地图很少包含精确的子道路细节，如车道标记和停车线，而这些子道路信息对于车道偏离警告或基于车道的车辆导航等应用至关重要。并且，绝大多数道路地图是在二维空间中建模的，这意味着一些复杂的道路场景，如立交桥和多层道路系统，无法得到有效呈现。另外，缺乏高程信息使得驾驶模拟和3D车辆导航等应用无法实施。

传统的道路信息获取方法包括地面测量和从遥感影像中描绘道路。地面测量可使用全站仪和GPS接收器等设备，但这些设备基于点测量，使得该方法劳动强度大、耗时，因此更适合小区域的详细道路测量，而非大规模道路测绘。从遥感影像中描绘道路有三种方式：手动描绘、半自动提取和全自动检测。手动从遥感影像中提取道路是一种简单的拉伸操作，但在场景非常复杂时，该操作耗时过长。而且，不仅大面积地理区域需要这种复杂地图，还需要频繁更新。在半自动道路提取方法中，手动给出近似值或种子点，然后通过自动算法以这些近似值为输入来自动提取道路。全自动道路特征提取则是通过自动化选择必要的初始信息来实现。

随着创新传感器和平台的发展，道路网络空间信息可以从航空和卫星影像、合成孔径雷达（SAR）影像、机载激光雷达（LiDAR）数据以及地面移动测绘系统（MMS）拍摄的具有不同空间和光谱分辨率的图像序列中获取。航空影像和LiDAR点云是生成道路地图和更新现有地图的有前景的数据来源，但往往在大量高分辨率航空影像和密集LiDAR数据被收集、堆积且未处理或未使用的同时，新的数据集仍在不断收集。这是因为处理航空影像和LiDAR数据的自动技术发展远远落后于硬件传感器技术。充分利用这些数据源进行目标提取非常具有挑战性，而城市地区由于环境更为复杂，自动提取道路信息面临更多挑战。

2. 相关工作综述

相关研究将不同的道路提取方法根据三个主要因素进行分类：预设目标、应用的提取技术和使用的传感器类型。在本次综述中，考虑使用主要的先进数据源，即航空影像和机载LiDAR数据，并将现有的道路提取方法分为两类：农村或非城市地区的道路检测和城市地区的道路提取。

2.1 农村道路提取技术

农村或非城市地区的道路具有宽度恒定、曲率连续变化和局部方向分布均匀等特点，这可以降低提取的复杂度。农村道路提取方法，无论是半自动还是自动的，可分为人工智能、多分辨率分析、蛇形模型、分类和模板匹配等几类。
- 基于数字航空影像和GIS数据的自动道路验证方法 ：通过搜索影像中GIS道路轴周围的区域获取路边候选对象，并进行测试和计算置信度，但仍需要用户交互，且无法检测GIS数据中不存在的道路。
- 基于Kohonen自组织映射（SOM）的全自动道路提取策略 ：用于在高分辨率多光谱航空影像中检测道路信息，核心算法包括反平行边缘中心线提取器、细长区域的模糊组织和自组织道路查找器。
- 基于马尔可夫随机场（MRF）的地图配准模型 ：用于在SPOT卫星图像上局部配准地图道路网络，以纠正误差和提高地图精度，但计算时间过长。
- 基于区域竞争算法的道路提取方法 ：结合区域生长技术和主动轮廓模型，适用于道路较为均匀且与周围环境差异明显的农业区域。
- 基于带状蛇形模型的道路提取方法 ：可以克服一些阴影和遮挡道路的提取问题，但无法处理城市地区的复杂道路场景。
- 基于图像分割的道路检测方法 ：通过知识分析和专家系统从Landsat专题制图仪（TM）影像中自动提取公路网络，但实验仅限于农村地区的公路提取。
- 基于分割和合并算法的道路提取方法 ：自动从大比例尺图像地图中提取路边，通过一系列操作生成道路骨架和路边。
- 多分辨率道路提取方法 ：在不同尺度级别使用不同的提取方法，最后合并输出结果。
- 基于粒子滤波的道路提取方法 ：通过Canny检测器提取道路边缘，并将边缘点分布和灰度值相似度集成到粒子滤波器中处理复杂场景。
- 基于多分辨率图像的道路提取方法 ：强调“道路模型”的概念，通过分割影像和提取线特征、平行边缘等步骤生成道路。
- 基于规则的道路种子提取方法 ：从农村场景的中高分辨率图像中自动提取道路种子，但无法提取道路交叉点。

2.2 城市地区道路提取

城市地区的道路具有独特特征，如由于高楼、车辆和树木的遮挡，道路表面常有许多阴影和遮挡区域，且道路与周围物体的对比度显著下降。因此，城市地区的道路提取不能照搬农村道路提取的有效方法，需要开发能够准确提取道路信息并处理背景物体影响的自动系统。主要技术包括道路跟踪、分割和分类、数学形态学和基于模型的道路提取。
- 基于路径跟踪的道路提取方法 ：通过初始化两点指示道路方向，利用尺度空间和边缘检测技术进行预处理，使用成本最小化技术确定道路方向和生成下一个种子，但该算法在有阴影的道路上可能无法工作。
- 基于矩形道路模板匹配的半自动化道路提取方法 ：通过匹配道路模板和道路种子从IKONOS影像中提取道路，但存在提取的道路掩码并非都是道路区域、提取的长边并非都是道路边缘的问题，导致分类错误。
- 基于种子点和模板匹配的道路提取方法 ：通过在道路中心线上初始化一个种子点确定参考模板的位置，使用最小二乘模板匹配方法确定下一个道路模板的新位置，但该算法在有阴影时可能终止跟踪过程，且需要操作员在道路中心线上选择初始种子，一个种子只能提取一个方向。
- 基于分段抛物线模型的半自动道路提取方法 ：通过人工操作员放置的种子点构建分段抛物线模型，将道路提取问题转化为估计抛物线未知参数的问题，但在人口密集地区，由于道路有急转弯和正交交叉，需要定位许多种子点，导致效率降低。
- 基于线段匹配的道路网络提取方法 ：通过交互式选择阈值生成二值图像，然后进行线段匹配处理道路网络，但二值图像生成不自动，阈值参数可能随图像输入而变化，缺乏一定的自动化和鲁棒性。
- 基于大小、偏心率等特征的城市道路中心线提取方法 ：从道路段和交叉点中提取城市道路中心线，需要预先确定道路宽度，以检测具有特定对比度和低沿路方差的道路。
- 基于轮廓匹配和多光谱分类的道路提取方法 ：通过优化的轮廓匹配和边缘辅助多光谱分类从高分辨率卫星图像中提取道路，能显著消除小车道、与道路网络相连的房屋屋顶和大面积铺装地面导致的分类错误。
- 基于数学形态学的城市特征提取方法 ：利用方向形态滤波和顶帽、底帽操作从高分辨率卫星影像中提取城市特征，有效提取道路网络。
- 基于数学形态学和线段匹配的道路网络提取方法 ：通过形态学平整生成二值道路图像，使用线段匹配方法检测粗道路网络，最后使用数学形态学操作填充孔洞，但该算法基于道路比周围特征颜色更深的假设，在不同情况下可能会出现问题。
- 基于高级方向形态算子的道路提取方法 ：利用路径开口和路径闭合算子提取结构像素信息，使用形态学轮廓分析对象大小和形状特征确定候选道路，最后进行后处理连接断开的道路段。
- 基于吉布斯点过程的道路提取方法 ：构建一个能够模拟和检测遥感影像中细网络的吉布斯点过程框架，通过最小化能量函数估计道路网络。
- 基于高斯尺度空间理论的道路特征提取方法 ：开发高斯比较函数从城市航空遥感影像中提取线性道路特征，能显著降低线跟踪的计算复杂度，有效抑制高斯平滑引起的零漂移，且能检测城市高速公路和非显著农村道路。
- 基于多尺度统计数据模型的数字道路地图更新方法 ：通过集成粗分辨率和细分辨率的分割结果，结合过时的GIS数字地图提供的特定先验知识，从VHR QuickBird全色影像中提取主要道路网络。

2.3 车道标记提取技术

道路路面标记重建的常用方法是通过基于车辆的移动测绘系统（MMS），利用激光扫描仪或近景摄影测量影像在现场检测和重建道路车道标记。由于使用的设备和融合的特征类型不同，车道特征提取方法各不相同，如基于结构、图像分类和频率分析等。从遥感影像中提取特征重建车道信息一直是摄影测量和遥感领域的研究热点，但由于图像地面分辨率的限制，大多数现有方法主要集中在检测道路中心线，而非子道路细节。只有少数方法涉及道路提取中的车道标记检测。
- 基于算法的道路标记提取方法 ：在道路两侧无可见边缘的大比例尺照片中，将共线道路标记作为明亮对象提取，采用图搜索策略自动提取道路标记。
- 基于简单图像处理算法的路面信息提取系统 ：构建系统从复杂城市地区提取路面信息，包括土地和符号标记，分析路面标记的几何属性和空间关系，并结合道路建设手册和一系列先进算法进行分析。
- 基于特定模型的虚线和斑马线重建方法 ：通过引入外部知识，定义几何、辐射和关系模型，利用格林算法和模拟退火算法找到能量函数的最小值，重建虚线和斑马线。

2.4 结果评估

自动道路提取系统的评估包括内部诊断和外部评估两个重要方面，但这方面的研究相对较少。典型的道路提取结果评估方法是将生成的道路与手动绘制的参考数据进行比较，正确性和完整性是最常用的标准，其他测量指标则取决于具体的道路提取算法和目标。
- 外部评估方法 ：通过将自动道路提取算法的结果与手动绘制的线性道路轴作为参考数据进行比较，提出了完整性、正确性、质量、冗余度、平面均方根差异和间隙统计等质量指标，以进行详尽评估和几何精度评估。
- 可用性评估方法 ：对半自动道路提取系统进行深入的可用性评估，主要从时间和统计分析以及影响提取速度的因素等方面进行评估。
- 参考确定方法 ：基于多个图像解释的统计测量指导参考的确定，定义一个代表解释变化的容差区域，用于确定参考对象的不确定性和定义定量评估标准。
- 定性评估标准 ：使用正确性、完整性、效率和准确性四个标准对半自动道路提取算法的性能进行定性评估。

3. 农村地区道路提取

提出了一种自动道路网络提取的新方法，系统地考虑并充分利用航空照片或全色锐化QuickBird图像的空间和光谱信息。该方法主要包括三个步骤：
1. 图像分类 ：基于同质性直方图分割对图像进行分类，大致识别道路网络轮廓。
- 对比拉伸 ：彩色图像可以用线性RGB颜色空间或其非线性变换（如HSI）表示。虽然HSI颜色空间在区分彩色图像中的高光和阴影方面通常更容易，但在低饱和度下色调不稳定，使分割不可靠。因此，本文采用RGB颜色空间，对原始航空照片的每个RGB通道进行对比拉伸，将直方图中的5%和95%作为下限和上限对图像进行归一化，以提高对比度。
- 同质性直方图构建 ：同质性直方图不仅考虑了灰度级，还考虑了像素之间的空间信息，因此比基于直方图的阈值方法更能有效地找到同质区域。通过Z函数计算像素与其八个邻居的同质性向量，并对其进行归一化定义同质性直方图。由于噪声的影响，在归一化同质性直方图中难以检测到模式，因此使用高斯滤波器对其进行平滑处理，然后根据平滑后的同质性直方图中的谷值作为分割阈值，对每个颜色通道分别进行分割，最后融合三个分割后的通道图像得到最终的分割结果。
2. 形态学操作 ：利用形态学开闭运算填充微小孔洞并过滤掉小的道路分支。
- 连通分量分析 ：首先使用连通分量分析将像素分组为不同的组件，然后移除表面积小于给定阈值的组件，以去除与主道路网络不相连的误分类对象。
- 形态学开闭运算 ：应用形态学闭合操作去除道路表面的小孔洞和噪声，使用形态学开运算消除宽度小于主道路但大于小路的小路径，得到提取的道路网络。
3. 细化和矢量化 ：对提取的道路表面进行细化、修剪，并使用Douglas - Peucker算法进行简化。
- 道路骨架提取 ：使用Wang和Zhang提出的细化算法提取道路骨架，将实际道路用其中心线表示。
- 修剪算法 ：为了去除由车道引起的中心线短悬垂分支，提出了一种修剪算法，包括查找所有交点、线跟踪和小线修剪三个步骤。
- 矢量化和简化 ：最后使用Douglas - Peucker简化算法对修剪后的线网络进行简化，减少数据点数量并尽可能保留简化形状与原始形状的相似性。

该方法的流程图如下：

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px;

    A([输入图像]):::startend --> B(计算同质性特征并生成直方图):::process
    B --> C(应用2D高斯平滑算法):::process
    C --> D(在同质性域中进行分割):::process
    D --> E(利用形态学开闭运算):::process
    E --> F(应用细化算法):::process
    F --> G(矢量化道路骨架):::process
    G --> H(修剪短段):::process
    H --> I(使用Douglas - Peucker算法简化道路网络):::process
    I --> J([最终道路网络]):::startend

通过对QuickBird卫星图像进行实验，并使用完整性、正确性和质量三个指标评估生成的道路网络质量。实验结果表明，该方法在道路表面与背景对比度明显且图像中道路表面比例较大时能够取得较好的效果，但在道路表面与周围环境对比度不明显以及存在阴影的图像中仍存在困难。

实验结果评估如下表所示：
| 变量 | 完整性 | 正确性 | 质量 |
| — | — | — | — |
| 图9 | 98.5% | 96.2% | 94.7% |
| 图10 (a) | 98.8% | 99.3% | 98.1% |
| 图10 (a) | 81.9% | 98.2% | 80.7% |
| 平均值 | 93.1% | 97.9% | 91.2% |

4. 城市地区道路检测

准确详细的道路模型在交通监测和高级驾驶辅助系统等诸多应用中至关重要。但多数道路特征提取方法主要聚焦于检测道路中心线，而非车道细节，只有少数方法涉及道路提取中的车道标记检测。为解决这一问题，引入支持向量机（SVM）和Gabor滤波器，构建从航空影像中精确重建道路模型的框架，并通过在昆士兰州布里斯班获取的航空影像数据集进行实验，评估该策略的有效性。

4.1 方法

采用有监督的SVM图像分类技术将道路表面与其他地面细节分割开，再用Gabor滤波器在生成的道路表面上检测道路路面标记。
- 支持向量机（SVM） ：SVM是基于最优分类原则的线性学习机，目标是在数据线性可分的情况下找到一个线性分离超平面来分离感兴趣的类别。若数据在输入空间中线性不可分，则使用非线性变换函数将其投影到更高维的特征空间，在特征空间中通过最大化两类最近点之间的间隔构建最优分离超平面。决策函数定义为：
[f(x) = w \cdot \Phi (x) + b = \sum_{i=1}^{l} \alpha_i y_i K(x, x_i) + b]
约束条件为(\sum_{i=1}^{l} \alpha_i y_i = 0)且(0 \leq \alpha \leq C)，其中(C)是一个正值，用于确定训练过程中的约束违反程度。由于SVM具有非参数、稀疏性和固有特征降维等特性，在处理高分辨率（VHR）遥感数据的图像分类时，优于传统分类器，如最大似然分类器。
- Gabor滤波器 ：2D Gabor滤波器由1D Gabor扩展而来，已成功应用于纹理分析和图像分割等多种图像处理和模式识别问题。它可用于提取道路车道标记，原因在于其具有可调节特定方向、可调整方向带宽和对噪声鲁棒等特性，并且在空间和频率域都具有最佳的联合定位能力，可被视为方向和尺度可调的边缘和线（条）检测器。
- Gabor函数 ：2D Gabor滤波器的一般功能可表示为高斯函数与复正弦信号的调制。其在空间域和频率域的表达式分别为：
[g (x, y) = \exp \left{ -\pi \left( \frac{x_r^2}{\sigma_x^2} + \frac{y_r^2}{\sigma_y^2} \right) \right} \exp { j2\pi (u_0 x + v_0 y) }]
[G (u, v) = \exp \left{ -\pi \left( \frac{(u - u_0)^2}{\sigma_x^2} + \frac{(v - v_0)^2}{\sigma_y^2} \right) \right}]
其中(j = \sqrt{-1})；((x_0, y_0))表示高斯包络的峰值；((\sigma_x, \sigma_y))是高斯包络的两个轴缩放参数；((u_0, v_0))表示正弦载波在笛卡尔坐标中的空间频率，也可在极坐标中表示为((f, \varphi))，其中(f = \sqrt{u_0^2 + v_0^2})，(\varphi = \arctan (v_0 / u_0))，下标(r)表示旋转操作：
[x_r = x \cos \theta + x \sin \theta]
[y_r = -x \sin \theta + y \cos \theta]
其中(\theta)是高斯包络的旋转角度。
- Gabor滤波器参数确定 ：
- (\theta)的确定 ：(\theta)表示受限正弦光栅的方向，与道路表面方向(\phi)垂直，即(\theta = (\phi + \pi/2) \% \pi)，其中(\%)是取模运算符。
- (f)的确定 ：(f)是正弦波的频率，决定Gabor滤波器的二维光谱质心位置。为了从给定的车道线产生单个峰值并排除其他地面物体，(f)需满足(1/W’ < f \leq 1/W_m)，在实验中设置(f = 1/W_m)。
- (\sigma_x)和(\sigma_y)的确定 ：(\sigma_x)和(\sigma_y)分别决定Gabor滤波器在(\theta)和(\varphi)方向的扩展。根据相关研究，(\sigma_y = k\sigma_x)，为简化计算，设置(k = 1)。通过方向带宽(\Delta\theta)和频率(f)的关系，结合3dB频率带宽条件，可得到(\sigma_x = \sigma_y = 0.58/f)。

4.2 实验与讨论

实验目的是定量确定所提出的道路特征提取方法在研究区域的性能。选取昆士兰州南布里斯班的航空影像数据集作为研究区域，影像包含红、蓝、绿三个波段，地面采样距离（GSD）为7cm。
- 实验步骤 ：
1. 使用多个训练样本训练支持向量机，将整个图像分为道路和非道路两类。采用LIBSVM软件包，使用高斯径向基函数（RBF）作为核函数，约束违反参数(C)设置为10。
2. 图像分类后，使用连通分量分析去除误分类为道路类别的小噪声。
3. 对彩色图像进行主成分分析（PCA），选择第一主成分进行Gabor滤波，以减少计算复杂度。根据前面确定的方法确定Gabor滤波器的参数。
4. 对Gabor滤波后的图像使用Otsu阈值算法进行分割，并使用方向形态开闭算法去除误分类特征。
5. 利用提取的道路表面作为掩码，去除如房屋屋顶脊线等可能被误分类为车道标记的白色线性特征。
6. 通过车辆的伸长率（多边形长轴与短轴的比率）和长短轴长度等指标，消除道路标记提取中车辆的影响。

实验结果的定量评估通过将自动提取结果与手动编制的高质量参考模型进行比较实现。道路表面检测的评估矩阵在像素级别定义如下：
- 检测率 ：(d = \frac{TP}{TP + FN})
- 误报率 ：(f = \frac{FP}{TP + FP})
- 质量 ：(q = \frac{TP}{TP + FP + FN})

其中(TP)是正确识别的道路表面像素数，(FN)是被识别为其他对象的道路表面像素数，(FP)是被识别为道路表面的非道路像素数。

路面标记提取精度的评估通过将提取的路面标记与手动绘制的道路标记作为参考数据进行比较，两者均以矢量表示。设置缓冲区宽度为道路标记的平均宽度（实验中为15cm），精度指标如下：
- 检测率 ：(d = \frac{length\ of\ the\ matched\ reference}{length\ of\ reference})
- 误报率 ：(f = \frac{length\ of\ the\ unmatched\ extraction}{length\ of\ extraction})
- 质量 ：(q = \frac{length\ of\ the\ matched\ reference}{length\ of\ extraction + unmatched\ reference})

实验结果评估如下表所示：
| 测试图像 | 道路特征 | 检测率 | 误报率 | 质量 |
| — | — | — | — | — |
| 图像I | 表面 | 91.8% | 12.9% | 80.3% |
| | 标记 | 93.3% | 10.6% | 83.7% |
| 图像II | 表面 | 93.2% | 7.2% | 88.5% |
| | 标记 | 94.5% | 2.7% | 92.7% |
| 图像III | 表面 | 88.3% | 2.2% | 86.2% |
| | 标记 | 83.5% | 15.2% | 71.8% |

对于四个测试站点，近90%的道路表面被正确检测，相关误报率约为10%。除受阴影严重影响的测试站点IV外，道路路面标记提取的完整性达到87%以上。道路表面的阴影会降低路面标记与道路表面背景之间的强度对比度，使使用Gabor滤波器增强道路标记变得困难。四个测试站点的平均误报率约为10%。

5. 结论与未来工作

5.1 结论

提出了一种从农村和城市地区提取道路特征的综合方法。在农村地区，基于同质性直方图阈值和Gabor滤波器从高分辨率（VHR）航空影像中提取道路表面和车道标记。同质性直方图图像分割方法不仅考虑颜色信息，还考虑像素之间的空间关系，以探索图像特征。此外，还提出了一种道路网络矢量化和修剪算法，可有效消除短轨迹段。在城市地区，首先使用SVM图像分割方法对道路表面进行分类，然后使用Gabor滤波器增强道路车道标记，同时抑制其他地面特征的影响。

农村地区多个VHR卫星图像的实验结果表明，超过95%的道路网络被正确提取。道路特征的遗漏是由于遮挡、与周围场景对比度差以及道路上的部分阴影造成的，这初步证明了农村地区道路特征提取策略的可行性。城市地区三个典型测试站点的实验结果显示，超过90%的道路表面被正确提取，误分类率低于10%。车道标记提取的正确率约为95%，只有约10%的其他地面物体被误分类为车道标记。

5.2 未来工作

尽管所提出的方法在测试数据集上取得了令人满意的结果，但仍存在一些问题，例如被车辆遮挡的车道标记可能无法有效检测。因此，未来的工作将集中在提高检测精度和精确模型重建上。例如，引入自动车辆检测方法，有效检测并从道路表面移除车辆；利用探测车辆的GPS实时动态定位解决方案，恢复存在大型障碍物区域的车道标记；考虑使用线性特征连接技术连接破碎的道路特征。