跨域训练评估BEVal：自动驾驶 BEV 的跨数据集评估框架

跨域训练评估BEVal：自动驾驶 BEV 的跨数据集评估框架

Abstract

当前在自动驾驶中的鸟瞰图语义分割研究主要集中在使用单个数据集（通常是nuScenes数据集）优化神经网络模型。这种做法导致了高度专业化的模型，可能在面对不同环境或传感器设置时表现不佳，这被称为域偏移问题。本文对最先进的鸟瞰图（BEV）分割模型进行了全面的跨数据集评估，以评估它们在不同训练和测试数据集、设置以及语义类别下的表现。我们探讨了不同传感器（如摄像头和LiDAR）对模型泛化能力的影响。此外，我们还进行了多数据集训练实验，结果表明相比单数据集训练，模型的BEV分割性能有所提高。我们的工作填补了在跨数据集验证下评估BEV分割模型的空白，研究结果强调了提升模型泛化性和适应性的重要性，以确保在自动驾驶应用中实现更加稳健和可靠的BEV分割方法。

代码获取：https://github.com/manueldiaz96/beval/

 欢迎加入自动驾驶实战群

Introduction

近来，鸟瞰图（BEV）表示方法在自动驾驶社区中因其在场景理解中的重要作用而获得了广泛关注。与传统的图像或点云分割不同，BEV将多个传感器模态的信息整合为一个统一的空间，提供了如物体大小不变性和减少遮挡等优势。

生成语义BEV栅格表示面临一个独特的挑战：需要生成与车辆传感器提供的视角不同的俯视场景视图。一些前沿方法利用摄像头特征和几何信息来构建BEV表示，而另一些方法则利用3D点云数据提取相关的语义信息。最近，越来越多的传感器融合技术结合了不同类型传感器的特征，以提升BEV表示的质量。这种俯视视角在追踪和规划等下游任务中尤为有用。语义栅格使得系统能够区分不同的物体类型（如车辆、行人、静态障碍物）和场景区域（如道路、人行道、行人过道），从而促进更好的决策过程。

这些先进模型需要大量多样且精确标注的数据来学习语义BEV栅格中的复杂细节。目前对BEV分割的研究主要使用nuScenes数据集进行训练和评估。这引发了关于这些模型鲁棒性和泛化能力的关键问题，因为它们通常只在单一数据集上进行测试。虽然领域自适应技术强大且常用于提高模型的泛化能力，但它们通常会引入额外的复杂性和计算开销。相较之下，跨数据集评估提供了一种更直接和经验验证模型鲁棒性的方法，无需额外的训练或微调，即可验证模型在不同现实世界条件和场景中的表现。

此外，跨数据集评估有助于建立标准化基准，揭示模型的固有限制和优点，提供模型在不同现实环境下表现的清晰洞见。尽管跨数据集验证在确保模型不仅对其训练数据集有效而且避免过拟合方面具有重要意义，但在BEV语义栅格分割文献中，该领域仍未得到充分探索。

在本研究中，我们旨在弥补这一空白，通过跨多个数据集评估BEV分割模型，以验证其在多样化现实场景中的可靠性和适用性。我们提出了一个新的跨数据集框架，用于在nuScenes和Woven Planet数据集上训练和评估三种BEV分割模型。我们在三类语义分割类别上使用交并比（IoU）得分评估三种最先进的BEV