基于图像与车道掩码的车道数预测

使用车道检测结果预测车道数量

摘要

车辆所行驶的车道数量是智能车辆领域中的一个关键因素。许多车道检测算法已被提出，如果我们能够完美地检测出车道，则可以直接从车道检测结果中计算出车道数量。然而实际上，车道检测算法有时表现不佳。因此，我们提出了一种新的车道数量预测方法，该方法结合行车记录仪图像和车道检测结果来预测车道数量。在我们自己的数据集上进行的实验确认了该方法在未显著增加计算成本的情况下取得了出色的结果。

一、引言

智能车辆系统的需求之所以存在，是因为人类是导致交通事故的主要原因[1]。车道数量（即车辆当前所在道路的车道数目）在智能车辆领域的诸多方面都至关重要，例如道路识别[2]、自车状态跟踪[3]和本车道分析[4]。更重要的是，[5]也强调了智能车辆了解其所行驶车道的车道数量非常有用。这是因为车道数量可以为导航辅助、环境理解以及碰撞辅助系统等提供诸多机会。因此，有必要开发一个精确的车道数量预测模块。

许多最先进的车道检测算法已被提出，例如[6][7]。如果车道检测能够完美工作，我们就可以从车道检测结果中毫无问题地获取车道数量。然而事实上，在某些条件下，如低光照条件，车道检测算法的表现不如预期[8]。因此，我们提出了一个想法：可以利用有时并不完美的车道检测结果来预测车道数量。

II. 模型

我们提出了4种具有不同输入（X）的模型。输出（Y）为车道数量。

A. 图像

首先，我们将车道数量预测视为一个传统的图像分类问题，因此使用图像作为输入。该模型将用作基线，以衡量其他模型的性能表现。

B. 车道二值掩码

接下来，我们考虑使用车道二值掩码，该掩码定义为车道检测的结果。如果我们能够完美地检测出车道，则可以直接从车道二值掩码中计算车道数量。为了从车道二值掩码中计算车道数量，我们统计具有正斜率值的已检测车道线的数量。

C. 图像 + 车道二值掩码

车道检测是一种从行车记录仪图像中提取信息的方法。然而，在车道检测过程中，某些信息可能会丢失。因此，我们的方法通过同时使用行车记录仪图像和车道二值掩码作为输入来防止这一问题。该流程如图1所示。

D. 图像 +(t ± n车道二值掩码)

由于我们的输入是行车记录仪视频数据，这意味着我们还有其他帧的数据。例如，考虑第 t帧的图像，即当前图像，我们还有第 t−1帧和第 t+1帧的图像，分别表示前一帧和下一帧。车道二值掩码的主要问题是，由于某些条件限制，车道检测模块无法完美工作。为缓解此问题，我们可以将第 t−1帧和第 t+1帧的图像作为输入提供给车道检测模块。我们期望即使车道检测模块在第 t帧未能正确预测车道数量，它仍可能对第 t − 1帧或第 t+1帧的图像表现良好。

III. 实现

对于数据集，本实验中我们使用我们自己的数据集。实际上，存在一些公开可用的车道检测数据集。例如，CULane[7]和TuSimple车道检测[9]数据集在许多学术论文中被广泛使用。我们可以将车道检测数据集转换为车道数量数据集，正如我们在第二节II‐B中提到的那样。然而，在我们的研究中，我们并未使用这些开源车道检测数据集。这是因为我们的方法利用了帧 t ± n处的图像，但这些数据集并未提供该数据。

对于车道检测模型，我们使用了名为LaneNet[6]的优秀现成车道检测算法，其在GitHub上的实现可以在[10]找到。我们首先使用TuSimple车道检测[9]在[10]上提供的预训练模型重新训练LaneNet。该车道检测模型具有9900万次浮点运算次数和3500万个参数数量。我们的车道检测数据包含3500张图像，训练与测试比例为80:20。

对于在第二节II‐A、第二节‐C和第二节II‐D中使用的车道数量分类模型，我们定义的卷积块结构为Conv(3 × 3) ‐ ReLU ‐ 批归一化 ‐ MaxPooling(2 × 2) ‐ Dropout。我们的模型以 Conv 32 (3 × 3)开始，随后依次是大小为64、256、64的卷积块。然后进行展平操作，接着是全连接‐ReLU‐Dropout，最后以 softmax结束。该车道数量分类模型具有2200万次浮点运算次数和300万个参数数量。

我们将输入图像调整为 100× 100。我们的车道数量数据包含7000张图像，按80:20划分训练集和测试集。我们将数据标注为分类数据集。 X是如第二节所述的输入。Y是输出的车道数量，包括0,1,2, 3,4。0表示车辆处于难以确定其当前所属车道的情况，例如正在转弯或通过十字路口。4表示车辆属于第4条或更多车道。这是因为我们的数据主要包含车道数量1、2和3。

第四节 实验结果

模型	浮点运算次数	参数	准确率
图像	22M	3M	0.78
车道二值掩码	99M	35M	0.80
图像 + 车道二值掩码	121M	38M	0.87
图像 + (t ± n车道二值掩码)	1.21亿	38M	0.90

表I 车道预测准确率

表I中每个模型的结果证实，我们在第二节II‐C和第二节‐D中描述的模型（在本例中，我们使用了 n= 1），能够优于第二节‐A和第二节‐B中描述的基线。

在速度和内存方面，如第三节所述，车道数量分类模型的参数数量和浮点运算次数明显低于车道检测模型。因此，我们提出的模型可以在不显著降低性能的情况下取得更好的结果。

图2显示了车道检测结果（上方）和以屏幕左上角的紫色数字表示的车道数量预测结果（下方）。这表明，即使车道检测算法未能检测到车道二值掩码，如我们所见，最左侧的车道线（以黄色虚线表示）实际上未被检测到，但车道数量预测的最终输出仍然是正确的。这是因为该模型不仅使用了车道二值掩码的输入数据，还使用了图像。此示例以及后续提到的结果明确证实了我们的方法非常有效。

五、结论

本文尝试从行车记录仪数据中预测车辆当前行驶的车道数量。本文的主要贡献在于，我们提出的模型结合了车道检测结果与行车记录仪图像，能够在不显著增加计算成本的情况下，实现更优的车道数量预测效果。在我们的行车记录仪视频数据集上的实验验证了该模型的有效性，达到了90%的准确率。