智能交叉路口解决方案

智能交叉路口：车联万物早期部署的解决方案

摘要

全球正在部署联网车辆和联网基础设施技术。尽管联网技术在辅助碰撞预防方面已展现出能力，但由于早期部署阶段的覆盖范围有限，其安全效益并未得到最大化。本田的“智能交叉路口”研究引领该公司开展了一项试点部署，利用先进的人工智能解决方案应用于基础设施感知技术。该感知技术采用视觉处理系统来检测并区分非联网道路使用者，包括汽车、应急车辆、摩托车和行人。所检测到的物体类型被打包成标准化无线车对车（V2V）安全消息，并通过路侧基础设施发送给附近的联网车辆。本文首先讨论了与基础设施感知和协同感知相关的一些挑战，并介绍了确保基础设施生成的车对车（V2V）数据传输以实时方式高精度传送的技术。随后，我们通过实际的实施准确性的评估检验了这些解决方案。

引言

道路事故是当今最棘手的问题之一，给全世界社会带来了巨大的经济和心理成本。死亡人数、道路受伤人数和维修成本是事故带来的一些后果，严重影响了道路使用者，相关统计数据清楚地表明需要向更安全的交通系统进行范式转变。例如，美国国家公路交通安全管理局（NHTSA）的一些报告列出了美国道路上机动车碰撞每年造成的伤亡情况，共计32,999人死亡和390万人受伤[1]。此外，其他NHTSA报告估计，所有美国机动车交通事故的经济损失高达2420亿美元2010[2]。2015年城市交通评分卡报告表明，除非采取严厉的新政策和技术措施，否则这些问题将持续加剧[3]。

智能交通系统构成了一种前景广阔的范式，旨在通过引入高级驾驶辅助系统和自动驾驶（ADAS/AD）概念，减少因道路交通事故造成的死亡人数、伤害和成本，并推动实现无碰撞社会。然而，要实现这一愿景，仍需开发并完善多个技术与智能层次。其中，感知层是支持其他ADAS/AD模块（如场景理解和决策）的基础性关键要素。

传感器可使车辆持续监控其周围驾驶环境，并将场景信息输入ADAS/AD系统栈的其他层级，从而为其提供可接受水平的态势感知能力。

目前，ADAS/AD系统中最流行的传感器类型是车载传感器，主要包括摄像头、激光雷达和雷达。尽管近年来车载传感器技术取得了巨大进步，但这些传感器存在一种固有的局限性，即由于非视距（NLOS）问题导致的视野受限。在不同的驾驶场景中，尤其是在存在建筑物、大型车辆等遮挡物的城市环境中，这一问题可能频繁发生。此外，在恶劣天气或光照条件下传感器性能下降是另一个问题，这在一定程度上限制了车载传感器的可靠性，特别是对于安全关键型的ADAS/AD系统。

车对一切（V2X）技术因其在非视距场景下的有效信息交换能力以及在不同天气/光照条件下的近乎一致的性能表现，成为解决这些局限性的有前景方案。因此，全球各类研究和监管机构正在积极致力于该领域各个方面标准的制定与完善。然而，在向完全联网环境过渡的过渡阶段，车联网技术面临的一个重要挑战是存在非联网个体，例如传统车辆以及其他道路使用者，如行人和骑行者，未配备V2X功能。在半连接世界中，道路上同时存在联网和非联网个体，联网车辆驾驶员会因依赖车对车（V2V）和车对基础设施（V2I）技术的某些服务可用性不确定而受到影响。在一些场景中，例如交叉路口，车辆与行人有较大概率交叉彼此的轨迹，不完整的驾驶上下文信息可能会误导联网车辆驾驶员，导致其感知能力和安全性降低。尽管配备V2X的车辆数量有所增加，但由于所需基础设施的缺乏，该技术的全面利用受到延迟。

协同感知（CP）的概念已在车联万物（V2X）领域中被提出，以通过在V2X代理、智能基础设施之间以及V2X代理自身之间共享感知到的场景信息来解决这一问题。通过这种方式，每个V2X代理都能够利用V2X网络接收到的信息，增强其检测能力，这些信息涉及超出其车载传感器范围但可能被联网智能基础设施或其他联网代理观测到的非联网物体。

尽管传感器共享和协作感知（CP）概念目前仍由美国汽车工程师学会（SAE）J3224技术委员会在进行标准化工作[4]，但这些技术已在其他多个国家（主要是欧洲国家）以及日本和中国开展了研究。一些关于协作感知的早期研究提出了在支持车联万物（V2X）的智能体之间以原始格式直接共享感知信息的机制[5]–[11]。然而，由于该方式带宽需求相对较高，在拥堵场景中可能难以有效运行。在[12]中，作者提出了一种基于基础设施的代理车对车通信（V2V）消息生成系统的原型，该系统利用路侧传感器感知道路上的车辆，并代表这些车辆生成ETSI协作感知消息（CAMs）。这些代理CAMs包含非V2V车辆的时间、ID和位置信息。该系统已在室内设置和校园内户外设置中进行了测试。[13]的作者提出了一种软件平台，通过使用支持V2V车辆的车载传感器和路侧传感器检测非联网物体，并将该信息与其他V2V智能体共享，从而在车载环境中实现协作感知。其他一些研究[14]–[17]分析了被称为协作感知消息（CPM）的通用ETSI CAM消息的一种补充消息类型的各个方面，例如其大小、延迟、范围等，并提出了某些信息融合机制，以将接收到的CPM信息与接收方的车载传感器数据进行整合。值得指出的是，CPM旨在传达由发送方车载传感器探测到的目标的抽象表示，而非原始感知信息。其他研究[18],[19]已提出对原始CAM规范的扩展，以包含检测到的物体信息，而非单独发送CPM消息。有关进一步研究，请参见[20]和[21]，其中提供了关于CP概念的全面文献综述。

延续车联网技术这一创新理念，本田在美国俄亥俄州玛丽斯维尔一个人流密集的城市区域，以真实道路环境为背景，引入、实施并评估了“智能交叉路口”概念。在该智能交叉路口中，智能基础设施利用摄像头监控交叉路口，检测车辆和行人等移动物体，并通过路侧单元（RSU）代表这些物体广播安全消息。RSU可为不具备联网功能的物体向支持车联网技术的车辆广播安全消息，使车联网车辆即使在车联网技术部署初期也能体验到完全互联互通环境。

本文将详细阐述本田智能交叉路口的部署与评估过程。

什么是智能交叉路口概念？

智慧城市采用创新的技术驱动解决方案来提高效率，例如旧金山的智能停车系统、路易斯维尔为联网车辆规划的智能车道以及奥斯汀的智能交通计划[22],[23]。随着人工智能和无线通信技术的进步，智能交叉路口的概念不断涌现，为联网/自动驾驶车辆创造智能化的驾驶环境[24]。一些智能交叉路口技术解决方案包括从信号控制器单元和其他本地传感器收集数据，以提供一个仪表板，使工程师能够可视化数据并开发算法，从而提出重新调整交通信号灯时序的建议。此外，交通信号灯管理者还可以为公共交通车辆提供优先通行权，或自动延长行人过街所需的绿灯周期[25]。

此外，德克萨斯农工大学RELLIS校区的智能交叉路口安装了先进的交通信号灯、高速先进雷达和单摄像头系统，以协助实现停车线和行人检测[23]。该交叉路口的首个研究用途是通过公交车与其交通信号设备之间的通信，告知其行驶路线，从而在信号化交叉路口向行人发出转弯公交车的警示。视觉系统检测到行人后，会在人行横道两端的无障碍行人系统或智能手机应用程序上显示“公交车正在转弯”的警告通知[23]。此外，更多智能交叉路口概念正在涌现，例如安娜堡的智能交叉路口将配备摄像头、雷达和红外传感器，用于捕捉区域内物体的移动情况、速度及方向[26]。

此外，俄亥俄州伦布斯于2016年启动了智能哥伦布项目，重点建设互联交通网络（即传感器和互联基础设施）。其中，本田美洲研发团队于2016年在俄亥俄州中部玛丽斯维尔的智能交叉路口发起、研究并实施了33号智能出行走廊，以开启早期车联网技术部署。本文将智能交叉路口定义为配备互联基础设施的信号交叉路口，利用计算机视觉和深度学习技术，使智能车辆在半互联环境中体验完全互联世界。

在此概念中，为了弥补传统车辆和行人手持设备缺乏车联网技术的不足，智能处理器采集并处理视频帧，以分析交叉路口内的运动情况。为此，系统采用深度学习技术来检测和分类物体，并推导出每个物体的相关轨迹（例如位置、速度和航向）。最后，集成的路侧单元（RSU）使智能交叉路口系统能够代表非联网个体向车载单元（OBU）发送安全消息[，例如基本安全消息（BSM）]。

智能交叉路口的工作原理

在所提出的智能交叉路口概念中，图像处理单元（IPU）利用深度学习技术从摄像头捕获的视频画面中检测和分类物体，提取其轨迹信息并相应生成基本安全消息，然后将基本安全消息提供给路侧单元。路侧单元随后广播安全消息（例如，基本安全消息）。除了基本安全消息外，路侧单元还应广播包含信号相位持续时间（例如，红灯和绿灯时段）以及交叉路口地图（MAP）的信号相位与定时（SPaT）消息。MAP消息传达有关交叉路口的地理信息（例如，车道标线、停车线和人行横道）。

具体而言，为俄亥俄州玛丽斯维尔的一个交叉路口设计并实施的智能交叉路口（见图1(a)）由图2的框图表示。该模型包含两个模块：智能基础设施和联网车辆。在此智能基础设施中，四个摄像头捕捉各个方向路面的图像（见图1(b)），并通过以太网电缆经由以太网供电（PoE）交换机将图像传输至IPU。IPU在检测区域中检测移动物体，并对其进行分类（例如应急车辆、行人、摩托车、运动型多用途汽车和轿车）。然后，通过在各帧之间对物体进行跟踪，估算每个被检测物体的轨迹，包括其位置、速度和航向。该智能基础设施利用路侧单元广播和接收IPU及车载单元的基本安全消息，并广播SPaT/MAP信号。在联网车辆端，每个车载单元广播自身的基本安全消息，并接收来自其他V2X单元的消息。

智能交叉路口位于俄亥俄州玛丽斯维尔。（来源：谷歌地图。）(b) 安装在智能交叉路口的摄像头。圆圈中的编号对应四个摄像头 。（来源：本田；经许可使用。))

设计与实施挑战

智能交叉路口的设计与实施面临诸多挑战，例如由于类型、光照等因素的组合数量巨大，导致用于目标识别学习算法的训练数据集有限，以及在线摄像头系统中的天气条件；摄像头、IPU和RSU之间的时间同步；以及V2X单元的BSM重复问题。本文研究了这些问题，并提出了相应的解决方案。

目标检测（定位/速度/航向）精度

尽管可以使用谷歌地球或类似的地球视图地图服务来确定物体的位置，但其精度不足以满足智能基础设施应用的需求。为解决位置精度问题，需通过将摄像头的视角（POV）与实际位置进行标定，从而确定物体（例如汽车或行人）的实际位置（经度和纬度）。具体而言，标定过程是将高精度（精确到六位小数）的测绘数据投影到摄像头捕获的标记点上。

根据车辆的航向及其与摄像头位置的距离，IPU会更新策略，以基于像素优化车辆的位置检测，并提高定位精度。通过这种方式，IPU能够检测物体的位置，并准确确定其速度和航向。具体来说，为了从摄像头视角确定被检测物体的速度和航向，IPU利用该物体的当前位置及其历史位置，计算帧间位置的变化及其方向，分别对应物体的速度和航向。在此方法中，IPU对速度和航向估计的精度高度依赖于定位的精度。

具体来说，我们使用了足够数量的测量点作为真实值，以确定摄像头画面中的像素与GPS值（具备实时动态级精度）之间精确的映射关系。在校准阶段，在摄像头记录场景的同时，我们将一个高精度的GPS记录系统放置在每个测量点上（将在“结果验证”部分详细描述），并记录其精确的定位信息。随后，结合详细的相机规格及其确切的安装参数（如相机视场角、精确的相机安装姿态和高度等），利用该高精度的一对一像素‐GPS映射表，确定相机帧中所有其他像素对应的GPS值。通过这种方式，我们可以声称相机帧中任意像素都具有非常准确的GPS信息。

为了进行鲁棒性检查，我们多次重复了此标定过程，并在可能影响标定精度的不同天气条件下（例如大风天气，可能会暂时影响摄像头的安装参数）进行了测试，以确保我们的标定在测试期间始终保持精度。对于目标的速度计算，由于我们知道摄像头录制的帧率，只要能够从摄像机画面中计算出每个目标在任意两帧之间（例如从帧 f1 到帧 f2）的位移，就可以轻松计算出该目标从帧 f1 到帧 f2 运动过程中的速度。对于目标位移的计算，由于每帧摄像机画面中像素的全球定位系统坐标可以被高精度地推断出来（如前一段所述），因此可以确定目标在两帧之间的位移。任意两帧之间的计算可通过将表示该物体在这些帧中某一参考点的像素进行全球定位系统到东‐北‐上（ENU）坐标转换轻松实现。与前述概念相同，可通过连接两个连续帧中该物体某一参考点对应的像素在ENU坐标系下的表示位置，绘制一条直线，从而计算出物体在每一时刻的航向。

目标分类

对不同类型的物体进行分类具有挑战性，例如行人、摩托车、乘用车和特种车辆以及应急车辆（可为激活或非激活状态），原因如下。

• 远处物体 ：距离摄像头较远的物体会显得非常小且细节有限。通常使用 256 × 256 像素区域来确保对目标的良好整体识别，但对于小物体，通过将分类限制在更小的 100 ×100 像素区域内，以优化模型和算法。
• 行人 ：行人比车辆小得多，当行人在远离交叉路口的位置过马路时，IPU可能难以检测到，从而可能导致错误的分类。通过创建一个软检测边界，将行人检测区域限制在距离摄像头40米范围内，并限定在靠近人行横道的区域，可提高IPU高检测率的可靠性。行人识别包含顶级检测算法中的遮挡体处理，能够在各种遮挡情况下自动检测并跟踪指定区域内的行人位置。
• 应急车辆识别 ：由于训练样本量小且模型泛化能力差，在在线摄像头系统中实现应急车辆识别较为困难。车辆的应急状态只能通过其车顶上的应急灯来判断。应急车辆种类繁多，如救护车、消防车、警车等，但IPU仅在检测到警灯条点亮时才会将目标判定为应急车辆（尽管从图像上IPU能够区分应急车辆与普通乘用车），这意味着该应急车辆正处于处理紧急情况的状态。

为了在多变环境（包括白天、夜晚、雨、雾、雪的混合条件）下对不同类型的物体进行分类，例如行人、摩托车、乘用车和特种车辆（卡车、半挂车等）以及处于激活或非激活状态的应急车辆，智能基础设施（IPU）采用了图像识别算法[27]采用先进的计算机视觉和深度学习方法来开发图像识别神经网络。深度学习方法采用自下而上的方式，模拟大脑中神经元之间信息的传递与处理过程[28]。该方法使用基于物体特征和语义图像理解的目标检测与跟踪算法（例如，将视觉内容如正在执行任务的应急车辆与图像场景内容中的低层次特征如警灯条和颜色相关联）。IPU能够从大量数据中自动学习特征，具有高效率和适应性的优势。在IPU中，深度学习网络结构被重新设计和优化，以拓展模型的深度和宽度，满足车联万物应用的需求。本项目所采用的卷积神经网络（CNN）架构为现有的AlexNet，该架构使用了CNNs和使用GPU加速深度学习，与使用双曲正切函数和sigmoid函数相比，训练性能得到提升（详见[29]）。

描述了图像识别的通用流程，该流程包括扫描每个视频帧，并将提取的特征与训练好的模型中的特征进行比较。如果在某一帧中检测到物体，则该物体会被传递到下一个网络进行分类。为了从模型中获取足够的抽象信息，卷积层和全连接层的数据保持不变，仅移除一个池化层。该策略能够确保充分利用图像信息，同时可在原模型基础上进行微调，从而保持效率和精度[30]。如果检测到的物体是应急车辆，IPU 还应检测其是否处于应急状态。)

在较远距离，车辆会显得非常小，可获取的细节信息也非常有限。通常需要收集256 ×256像素区域的细节，以确保对目标有更全面的了解。对于小目标，网络可以通过将分类区域限制在较小的100 ×100像素区域内来更好地集中注意力[参见图3(b)以获得更直观的说明]。所有模型和算法都经过优化，以适应更小的区域，从而充分利用图像信息。

在图3(b)中，消防车的应急状态通过与目标识别相同的过程被检测到。

BSM重叠与过滤

在智能交叉路口，如果路侧单元（RSU）代表一辆配备V2X的车辆广播基本安全消息（BSM），接收端的车载单元（OBU）将会产生困惑，因为它会从同一车辆接收到两组位置和速度值存在微小差异的基本安全消息序列（一组直接来自该车辆的发射器，另一组则通过摄像头–IPU–RSU系统代为发送，包含可接受误差范围内的延迟以及速度和位置估计差异）。这可能导致接收器误认为这两组序列来自两辆不同的车辆，并触发幽灵车辆警告。

图5展示了BSM重叠过滤算法的流程图。在该算法中，两条并行流同时运行。在图5中第一条流（以“车载单元广播BSM”开始），路侧单元持续探测交叉路口区域，以检测是否有配备V2V的汽车正在发送基本安全消息。一旦路侧单元接收到V2V汽车车载单元发出的基本安全消息，便将其转发给IPU。与此同时，IPU接收摄像头视频流，并对其执行目标检测处理（参见图5中以“IPU检测目标”开始的流程）。当IPU从路侧单元接收到一条BSM时，会从BSM内容中提取出该BSM发送者的位置信息，并检查摄像头视频流，查看在相同位置（在一定阈值范围内）是否存在对应的目标。如果在BSM到达时间前后110毫秒的摄像头记录中找到此类目标（以补偿时间同步和延迟因素），则认为该摄像头视频中的物体为联网汽车，因此不会将其信息转发给路侧单元进行广播。通过这种方式，我们的算法防止了智能基础设施代表联网汽车发送重复（影子）BSM。上述BSM滤波算法的评估结果在“结果验证”部分的“BSM重叠与滤波”小节中展示。

当前方法用于在单车道情况下区分车辆。在交通繁忙时，由于车辆之间的距离较近，例如多辆车辆同时从并行的多个车道到达，可能会导致基本安全消息与摄像头信号重叠。此外，值得一提的是，如果多辆支持车联网的车辆同时到达（无论是在同一条车道还是不同车道），系统仍可轻松区分它们，因为每个车载单元发送的基本安全消息中均包含专属于该车载单元的特定ID。通过利用基本安全消息中的“发射器ID”字段，系统可将属于不同支持车联网的车辆的基本安全消息序列进行分类。

时间同步与系统延迟

在智能基础设施中，为了从相应的BSM中提取每个摄像头检测到的物体信息，并每100毫秒广播一次，摄像头、IPU和RSU必须精确同步（允许的最大时间同步误差为10毫秒）。每个被检测到的物体都应标记协调世界时（UTC），该时间对应于摄像头实际检测到该物体的时刻。尽管IPU和RSU的精度达到毫秒级，但摄像头系统的精度仅为秒级。因此，摄像头是整个系统所需同步水平的薄弱环节。为应对这一挑战，设计并应用了以下同步方法。

由于路侧单元（RSU）可通过其全球定位系统（GPS）模块将时间以毫秒级精度同步至卫星协调世界时（UTC），因此利用路侧单元通过Chrony为IPU提供时间同步服务。Chrony是网络时间协议（NTP）的一种多功能实现，可将系统时钟与NTP服务器的参考时钟（例如GPS接收器）进行同步。IPU上安装了Net‐Time工具，可自动强制频繁（每15分钟一次）与路侧单元时间服务器进行毫秒级精度的时间同步。从摄像头捕获相机帧到该帧被传送至IPU之间的延迟已预先计算完成。IPU凭借其时间同步能力并结合对该延迟的了解，能够以可接受的精度确定每个相机帧的时间戳。该时间戳随后通过用户数据报协议传输至路侧单元。

在车联网中，由于摄像头目标检测系统导致路侧单元消息广播存在显著延迟，这很可能在接收端车载单元终端引发误报警。因此，最大限度地减少延迟，使接收器OBU能够及时接收来自RSU的最新消息，至关重要。根据美国汽车工程师学会（SAE）发布的J2945/1标准，从RSU侧观测到的基本安全消息整体延迟需保持在600毫秒以下[31]。在我们的实验中，延迟小于400毫秒，远低于SAE规定的延迟要求。部署的智能交叉路口系统的整体系统延迟评估结果详见“结果验证”部分的“时间同步与时间延迟”小节。

智能交叉路口：车联万物早期部署的解决方案（续）

结果验证

目标检测（定位/速度/航向）精度

为了观察摄像头视角定位检测的准确性，我们将测绘数据的实际定位与相机‐IPU检测定位进行比较，并将这两组数据绘制在谷歌地球上。我们发现在四个摄像头方向上均存在普遍的偏移；参见图7中一个摄像头（朝北）在谷歌地球上绘制的测量点标定结果。图7中的红色轮廓区域比较了测量点的校准结果与真实值结果。数字图7红色轮廓区域内的数字为标定时的测量点编号（与图6表格第一列中显示的编号相同）。图7显示这些点一致向西偏移，估计偏移量为0.42米。原始测量点以及摄像头–IPU对标定点的校准结果也在图7中以绿点表示。校准结果的绿点向东偏移了0.83米。对于移动物体检测精度，OBU在此方向上的GPS定位显示出约1.69米的偏移，IPU定位显示出约0.95米的偏移。所有测试包括检测和滤波在这一方向上，它们更加准确和有效。

为了确定摄像头视角下所检测物体的位置，IPU根据标定数据将描述物体中心的像素位置转换为经度和纬度。以像素形式表示的物体中心位于车辆保险杠前方。通过比较GPS位置与IPU检测位置来展示目标检测的位置精度，并对每个方向进行了六次测试。在图8中，每个点代表测试车辆的GPS位置与IPU检测位置之间的横向和纵向位置偏移。可以观察到GPS值波动较大，例如在图8(b)的“白天干燥/有风”场景中，这是由于白天该交叉路口交通流量显著增加，导致测试过程中车辆减速或停止。当车辆减速或停止时[，包括“夜间潮湿且有风”场景中]，GPS值出现波动，这是所有GPS设备常见的问题。我们观察到，在所有检测距离下（来自图1中的四个摄像头，覆盖了四个方向），纵向和横向的相对总偏移均小于2米（智能交叉路口）。虽然OBU上的原始GPS被外推至汽车中心并降低到地面，但图9显示，由IPU确定的汽车位置位于汽车前部[图9(a)中的红点]。OBU与IPU之间的这一差异可能高达4米，从而降低了精度。我们可以实施的一种解决方案是从OBU的BSM中取汽车长度的一半，并沿y轴方向移动[图9(b)中的红点]。在图9(a)中，前车的红点更接近滤波范围，可能导致错误滤波。我们可以通过调整y参数来提高该精度。

航向计算利用目标的当前位置及其历史位置。位置以经度和纬度表示，由摄像头与图像处理单元校准确定。通过计算运动方向向量与正北方向之间的角度，得到目标的航向。目标首次被检测到的位置用作参考点。IPU确定的航向精度在很大程度上取决于摄像头与图像处理单元校准的精度。通过比较车载单元的GPS数据和IPU检测位置计算出的航向，展示了目标检测的航向精度，并且每个方向进行了六次测试。在图10中，每个点代表测试车辆的OBU数据确定的航向与IPU确定的航向在测试期间的航向偏移。总体而言，航向相当准确；图10中的结果分布通常与OBU数据相差在5°以内。当车辆减速（低于15公里/小时）或停止时，精度会受到影响；低速时相对误差可能较显著。此外，摄像头系统误差（传感器和压缩）、物理抖动（例如强风期间）、黑暗或夜间环境以及将光线直接反射到摄像头传感器的潮湿环境也可能导致相对误差。

摄像头视角（固定）下的标记点（测绘数据）位置。（来源：本田；经许可使用。）(b) 标记点（测绘数据）位置的俯视图，以及其测量得到的纬度、经度和高程快照。（来源：表格：本田；经许可使用；地图：谷歌地图。）)

“夜间干燥”场景，(b) “白天干燥/有风”场景，和 (c) “夜间潮湿且有风”场景。)

一个问题 和 (b) 优化。（来源：本田；经许可使用。）)

目标分类

为了验证目标分类的准确率，我们假设分类准确率为100%，然后对理想情况下的系统性能进行基准测试。该分类基准测试包含六个类别，包括一个白天和夜间场景中的救护车和消防车。由于白天和夜间场景的光照条件不同，且光照对分类性能至关重要，因此在分类时将白天和夜间场景分开。在图11中，初始车辆检测由蓝点表示，紧急状态识别由红点表示，交通方向为从右到左。从图11可以看出，在白天，紧急车辆识别的距离更远（最远达111.41米），相较于夜间而言。

请注意，车辆顶部的应急灯只能确定其应急状态，这意味着在每一帧中应急车辆的状态可能不同，并且在某些特定帧中可能显示为关闭状态，从而导致误检。例如，根据摄像头角度，在某些情况下，应急灯可能与普通车辆灯光难以区分，或夜间后方车辆的灯光可能导致将前方普通车辆错误识别为应急车辆；或者在明亮的白天，应急灯可能较暗且难以识别。增加不同环境中应急车辆的样本量，可使系统提高识别准确率并降低误检率。

BSM重叠与过滤

“设计与实施挑战”部分的“BSM重叠与过滤”小节中解释的算法，使系统能够检测配备V2X的车辆，并防止路侧单元代表这些车辆发送基本安全消息。图12(a)展示了来自四个摄像头之一的若干截图。在这些截图中，前车被检测为未配备V2X的车辆，而后车被检测为配备V2X的车辆。在图12(a)中，三个截图的时间戳（位于每张图片的右上角）从右到左分别为20:05:40、20:05:50和20:05:54。对于图12(a)中20:05:40的截图，有两辆车；较近的一辆被识别为非联网车辆（带有边界框），较远的一辆被识别为联网车辆（前保险杠上有一个小绿点）。在20:05:50[图12(a)的中间截图]，两辆车更靠近摄像头；而在20:05:54时，非联网车辆已驶出摄像头视野范围，只剩下联网车辆（前保险杠上有绿点）。它们对应的轨迹以鸟瞰视图的形式用点表示在图12(b)中。交通方向从右向左，在图12(b)中交叉路口位于左侧。绿色圆点表示联网车辆的轨迹；红点表示摄像头识别出的非联网车辆的轨迹。如图12(b)所示，这些车辆在到达交叉路口之前很久就已经被检测并标记为配备V2X或未配备V2X的车辆。

“夜间干燥”场景，(b) “白天干燥/有风”场景，以及(c) “夜间潮湿且有风”场景。)

白天救护车，(b) 白天消防车，(c) 夜间救护车，(d) 夜间消防车。（来源：视频截图：本田；经许可使用；地图：谷歌地图。）)

摄像头录制图像。（来源：本田；经许可使用。）(b) 在谷歌地球中标注的GPS或IPU检测位置。（来源：谷歌地图。）)

时间同步与系统延迟

在开发的智能交叉口框架中，结合时间同步过程引入的延迟，从接收器OBU观测到的整体系统延迟小于400毫秒，远低于600毫秒的所需延迟。该延迟可分解为以下几项：

• 摄像头系统延迟：300 毫秒
• IPU检测与处理：20–50 毫秒
• IPU到RSU的网络延迟：5–10 毫秒
• RSU处理与广播延迟：<20毫秒

例如，针对摄像头检测到的不同目标，路侧单元在单一时刻接收到车载单元发来的不同基本安全消息的整个系统延迟如表1所示。在该表中，每个发送的基本安全消息的时间戳均由IPU和RSU根据“时间同步与系统延迟”小节中所述的程序确定。

对象ID	摄像头捕获时间（毫秒）	接收器车载单元时间（毫秒）	系统总延迟（毫秒）
0xAE	45,460	45,700	240
0xB6	45,460	45,700	240
0xC3	45,460	45,700	240
0xCF	45,427	45,700	273
0xD4	45,327	45,700	373

表1. 时间同步和系统延迟。

结论

本文提出了一种新的智能交叉路口概念，作为车联万物技术早期部署的解决方案。该概念无论交叉路口中现有物体的通信技术是否可用，均能使联网车辆体验到完全互联互通环境。智能基础设施通过使用计算机视觉技术，监控并与车载单元通信运动信息。IPU识别移动物体并准确提取其轨迹信息。

为验证该模型，我们在不同的交通流量、天气条件和一天中的不同时段进行了大量实地测试。我们观察到，所提出的智能基础设施不仅能够检测和分类车辆、摩托车和行人，还能准确识别应急车辆的状态。为了确保检测与分类过程的可靠性，IPU能够根据物体的类型、大小以及与摄像头的距离来优化检测区域和分类区域。根据实地测试结果，物体的估计位置与车载单元测量数据相比偏差小于2米，物体的估计航向偏差小于5°。在测速方面，IPU通过计算帧间物体位置的变化来确定速度，因此测量精度取决于视点定位标定精度。根据车联网技术在安全应用中的低延迟要求，我们测量了包括摄像头系统、IPU检测与处理、IPU‐路侧单元通信以及路侧单元处理与广播在内的各个流程所产生的延迟。测得的总延迟小于400毫秒。

此外，为了解决智能交叉路口中配备车联网技术的设备存在的消息重复问题，我们提出了一种算法，使IPU能够检测车载单元并在广播时排除相应的基本安全消息。因此，所提出的智能交叉路口概念是解决半连接世界中所需基础设施不足问题的可行方案。

在此实施中已测试了多种安全应用，结果证明其成功实现了针对联网与非联网道路使用者的安全应用，例如应急车辆预警、行人警告和闯红灯者预警（参见YouTube链接[32]了解更多的创新和应用说明）。此外，已发布多项专利[33],[34]，展示了该提案的价值和潜力。