Mamba与元学习双管齐下，打造新的语义补全方案！

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

今天自动驾驶之心为大家分享普渡大学最新的工作！Mamba与元学习双管齐下，打造新的语义补全方案。如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>点击进入→自动驾驶之心『占用网络』技术交流群

论文作者 | Yansong Qu等

编辑 | 自动驾驶之心

写在前面 && 笔者理解

传统的自动驾驶框架下，现有感知而后又规控，所以可以说感知在这套框架下扮演着非常基础性的工作。然而，动态交通参与者的突发性和可变性，加上静态对象的较大的范围和距离，给自动驾驶车辆在感知复杂驾驶场景时带来了不小的挑战。而在一众提高感知能力的方法中，场景语义补全（Scene Semantic Completion，SSC） 作为一种同时推理驾驶场景的几何形状和语义的技术脱颖而出。如图1所示，与传统的依赖于单个目标检测和跟踪的感知任务不同，SSC通过填补部分或遮挡传感器输入中缺失的信息，提供了对环境更全面的理解。当传感器如激光雷达或摄像头被其他车辆或环境元素遮挡时，这种能力尤其关键。

不过，收集和标注大规模真实世界数据集是一个昂贵且劳动密集型的过程，而且能够收集到多样的真实世界交通情况也是一件比较有挑战的事情，比如一些像是车辆故障 or 行人碰撞的等长尾场景。所以，越来越多的研究人员愿意转向高保真的模拟器，如：CARLA等，来生成一些数据，虽然这些合成的数据与真实世界的数据还是存在一些domain gap。

当前的SSC解决方案通常依赖于 3D CNNs 来编码点云或RGB-D图像等输入数据，这些数据包含了丰富的空间信息。然而，3D CNNs在捕获细粒度场景表示或建模3D块之间的长序列关系方面有些许挑战，而这两者恰恰对于SSC任务至关重要。缺乏时间建模限制了它们跟踪环境动态变化的能力。

• 论文链接：https://arxiv.org/pdf/2411.03672v1

作者这篇工作旨在解决两个关键gap：

• 需要有效利用模拟数据以快速部署在真实世界场景中

• 开发一种新的骨干网络，能够捕获长序列依赖关系和高分辨率空间信息。

所以，相应的，这篇工作的主要贡献主要总结如下：

• 双相训练与元学习 作者采用双相训练策略，通过模型无关的元学习（MAML），在源域（由模拟器生成的数据集）上预训练模型，并在目标域（真实世界数据集）上进行微调。这种方法通过在微调过程中快速学习特定于域的特征，加速了对真实世界环境的适应。通过跨多个域的泛化，MAML减少了过拟合并提高了模型在新情况下的鲁棒性。

• 用于长序列建模的新型骨干网络 作者引入了一种新的骨干架构，该架构集成了Mamba（一种选择性的状态空间模型（SSM）），可变形卷积和大核注意（DLKA）。Mamba提供了一种结构化机制，用于随时间处理序列数据，确保有效地捕获3D体素网格内的长距离依赖关系。可变形卷积允许模型动态调整接受域，增强了检测不同尺度物体的能力。同时，D-LKA增强了网络的注意力机制，专注于场景的关键区域，这提高了空间意识和决策能力。

相关工作

3D semantic scene completion for autonomous driving

SSC 任务就是从不完整的传感器输入中，推断大规模户外环境的几何形状和语义