ICLR'25 | STAMP：异构协同感知框架新框架！无痛扩展~-优快云博客

点击下方卡片，关注“自动驾驶之心”公众号

今天自动驾驶之心为大家分享加州大学洛杉矶分校和德克萨斯大学奥斯汀分校的最新工作——STAMP！面向异构智能体的可扩展任务与模型无关的协作感知框架。如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>点击进入→自动驾驶之心『BEV感知』技术交流群

论文作者 | Xiangbo Gao等

编辑 | 自动驾驶之心

[ICLR 2025] STAMP: Scalable Task- And Model-agnostic Heterogeneous Collaborative Perception 一个可扩展，与任务和模型无关的，异构协同感知框架

在快速发展的自动驾驶领域，如何让不同车辆高效地共享和通信环境感知信息是一个重大挑战。试想，特斯拉可以无缝地将其摄像头数据共享给配备 LiDAR 的 Waymo 车辆，同时又能安全地接收其他车辆的感知信息——通过多车辆之间的协同，构建一个更全面、更安全的驾驶环境。

论文链接：https://arxiv.org/abs/2501.18616
论文代码：https://github.com/taco-group/STAMP
项目网站：https://xiangbogaobarry.github.io/STAMP/
讲解视频（英文）：https://www.youtube.com/watch?v=OlQDg7EMWrE&t=3s
作者信息：https://www.xiangbogao.com/

异构协同感知的挑战

传统的自动驾驶车辆作为独立个体运行，仅依赖自身的传感器和处理能力。尽管这种方法有效，但并非最佳选择。车辆经常会遇到视野受限、遮挡或恶劣天气等情况，这些都会削弱感知能力。

解决方案看似简单：让车辆共享它们所见的信息。然而，不同的自动驾驶车辆使用：

不同类型的传感器（摄像头、LiDAR、雷达）
不同的 AI 模型和架构
不同的任务（如目标检测、分割、轨迹预测）

这就像一群讲不同语言、使用不同工具且目标各异的人试图合作。以往的尝试局限于：部分异构的协同感知[1]，仅限于目标检测任务的异构协同感知[2,3]，或是仅限于两辆或少量异构车辆的协同感知[4]。

STAMP: 自动驾驶车辆模型的通用翻译器

STAMP是一个可扩展的，任务与模型无关的，异构协同感知框架，通“协作特征对齐”（Collaborative Feature Alignment）的方法，多个异构车辆之间也能相互沟通，协同感知。其工作原理如下：

协议网络（Protocol Network): STAMP 首先建立一个统一的鸟瞰图特征空间（BEV feature space），可视为建立一个所有车辆都能翻译到和从中翻译出的通用语言。
适配器（Adapter）和恢复器（Reverter）：每辆车配备：

一个适配器 (ϕ)，将其本地（local）的特征图（feature map）适配到协议特征空间（Protocol feature space），类比于将“地方方言”翻译为“通用语言”。

一个恢复器 (ψ)，将其协议空间的特征图恢复到本地特征空间，类比于将“通用语言”重新转换为“地方方言”。

STAMP 的重要性

可扩展性：与先前异构协同感知的解决方案因车辆数量增加而大幅增加计算量不同，由于适配器恢复器十分轻量，STAMP 仅需要极小的额外计算量就能实现多车异构协同感知。
安全性：车辆无需共享其专有的 AI 模型或算法，仅需共享被适配到协议格式下特征。
灵活性：新车辆即使拥有不同的传感器或 AI 模型，也能加入网络，而无需更新现有车辆。

性能与实际影响

STAMP在模拟数据集OPV2V和真实世界数据集V2V4Real上，均展现了突出的结果。

从实际角度看，使用 STAMP 的车辆可以：

在具有挑战性的条件下更准确地检测目标
即使车辆传感器，感知模型，下游任务能力不同也能高效协作
即便数据存在噪声或不完美，也能保持性能

未来研究方向

STAMP 提供了多个值得进一步探索的研究方向。协议网络架构可以针对不同的现实场景和应用需求进行优化。例如，城市环境可能需要与高速公路驾驶条件不同的协议特性，而恶劣天气场景可能从专门的协议架构中受益。研究可以探讨自适应协议网络，根据环境条件和感知需求动态调整协议。
适配器-恢复器架构也是另一个值得深入研究的领域。目前的实现通过 ConvNeXt 层，但替代架构可能在性能或效率权衡上表现更优。研究人员可以探索基于 Transformer 的架构，甚至是针对边缘设备的硬件优化，以更大程度减少计算开销，同时保持性能。
STAMP 评估中识别的瓶颈效应强调了实际部署中系统设计的重要问题。这种效应表明，系统的整体性能可能会受到最弱参与者的限制，因此需要更复杂的协作策略。一个有前景的方向是实现多组协作系统，在这种系统中，智能体可以根据其能力、可靠性评分和当前感知质量选择性地加入特定分组。通信协议可以通过质量评估机制进行增强，帮助智能体决定何时以及与谁协作。在多组场景中，这些机制尤为重要，因为智能体可能需要根据任务需求和环境条件动态调整其在不同组中的参与。STAMP 的轻量级适配器-恢复器对的特性使这种灵活的分组参与在计算上变得可行。
该领域将受益于专门为协作感知系统设计的标准化评估指标。目前的指标（如平均精度和平均交并比）虽然有用，但可能无法完全捕捉多智能体协作的细微差别。新的指标可以考虑通信效率、对新智能体的适应速度，以及对智能体故障或性能下降的抗干扰能力等因素。

参考文献：

[1] Gao, Xiangbo et al. STAMP: Scalable Task And Model-agnostic Collaborative Perception. 2025
[2] Yiming Li, et al. Multi-robot scene completion: Towards task-agnostic collaborative perception. PMLR 2023
[3] Runsheng Xu, et al. Model-agnostic multi-agent perception framework. ICRA 2023.
[4] Runsheng Xu, et al. Bridging the domain gap for multi-agent perception. ICRA 2023.
[5] Yifan Lu, et al. An extensible framework for open heterogeneous collaborative perception. ICLR 2024.

① 自动驾驶论文辅导来啦

② 国内首个自动驾驶学习社区

『自动驾驶之心知识星球』近4000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（端到端自动驾驶、世界模型、仿真闭环、2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎扫描加入

③全网独家视频课程

端到端自动驾驶、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）