IROS'24 | 上交最新MADE：用于鲁棒协作感知的恶意智能体检测方案-优快云博客

点击下方卡片，关注“自动驾驶之心”公众号

今天自动驾驶之心为大家分享上海交通大学最新的工作—MADE，用于鲁棒协作感知的恶意智能体检测方案！文章已中稿IROS 2024。如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>点击进入→自动驾驶之心『协同感知』技术交流群

论文作者 | Yangheng Zhao等

编辑 | 自动驾驶之心

MADE在不同数据集上都展示了出色的攻击防御效果

单智能体感知系统方兴未艾，在物体检测等领域拥有许多研究成果，但其仍然受到突破单一视角的限制。围绕这一问题，充分利用不同视角的多个智能体发送信息的协作（Multi-Agent Collaboration，下文简称为MAC）感知系统应运而生，相比单智能体系统提升了视野，能极大助推自动驾驶等领域的发展和技术落地。然而，由于信息交换的存在，MAC感知系统比单智能体感知系统更容易受到对抗攻击，攻击者可以通过附近的恶意智能体发送有害信息，即可轻松降低受害者智能体的性能表现。不同于传统的物理攻击，这种攻击方式无需在物理世界中进行因此更易实现。因此，如何能够检测出系统中的恶意智能体就成为了亟待解决的关键问题。

为此，来自上海交通大学和伊利诺伊大学厄巴纳-香槟分校的研究者们在最新研究文章《MADE: Malicious Agent Detection for Robust Multi-Agent Collaborative Perception》提出了MADE：一种特定于MAC感知的反应式防御机制，该机制可以由智能体部署，以准确检测并移除本地协作网络中的任何潜在恶意智能体。同时，本文研究者们在一个3D基准数据集V2X-sim和一个真实道路数据集DAIR-V2X中全面评估了MADE，与其他防御机制进行了比较，取得了显著优异的实验结果。本文的研究者们相信这将为鲁棒MAC感知系统的构建提供了一个有潜力的解决方案。

论文链接：https://arxiv.org/abs/2310.11901
代码链接：https://github.com/shengyin1224/MADE

研究背景和意义

经过数十年的计算机视觉和机器学习领域的努力，单体感知在目标检测、跟踪和分割等方面取得了显著成功。然而，传统的单体感知仍然受到一些不可避免的限制，例如由于个人视角导致的遮挡和远距离问题。为了解决这些问题，多智能体协作感知应运而生，该方法允许多个智能体共享互补的感知信息，从而促进更全面的感知。

然而，现有的MAC感知研究却主要集中在提高感知性能上，相关的安全协议研究却严重不足。特别是，信息共享在一定程度上为对手破坏整个系统创造了更多的机会。例如，最近对抗攻击已扩展到MAC目标检测中，攻击者可以通过网络中的恶意智能体使用优化后的特征图轻易地降低受害智能体的性能（如图1）。由于对抗训练等通用防御无法有效缓解这一威胁，因此在安全关键的场景中部署MAC感知工具仍存在经济损失和人员伤亡的风险。

图 1. MAC系统中的攻击者将施加了对抗攻击的特征图分享给受害者智能体降低其感知性能（图片来源：J. Tu 等人，2021年ICCV会议论文）

为了解决这一问题，本文旨在设计一种特定于MAC目标检测对抗攻击的反应式防御方法，使得智能体在不先验地知道谁是恶意智能体且无额外通信的情况下，能够实现对于对抗攻击的防御。

实现针对MAC对抗攻击的防御有两个关键要素：一是防御的方法类型，二是防御的框架设计。从方法类型的角度，本工作提出的MADE是一种反应式、基于检测的防御方法，它利用智能体协作的性质，通过检测并移除本地协作网络中的恶意智能体，无需对攻击者有先验知识即可实现防御。同时检测是在本地进行的，也无需额外的通信。从框架设计的角度，本文为MADE提出了一个基于多重测试的检测框架，使用conformal p-values和Benjamini-Hochberg (下面简称BH) 程序来控制误报率。多重测试包括两个假设检验的一致性度量指标，如果被检查的智能体与自我智能体在这些一致性度量上不一致，则被认为是恶意的。因此，MADE不仅能够保护智能体免受潜在的对抗攻击，还能帮助捕捉发动攻击的恶意实体，这将对社会产生积极影响。

针对MAC目标检测任务的对抗攻击

本篇工作主要关注对抗攻击对于MAC目标检测任务的影响。目前最先进的MAC目标检测任务流程可以分成三个阶段：编码阶段、协作阶段和解码阶段，而对抗攻击通常出现在协作阶段——恶意智能体优化出对抗扰动并施加到中间特征图上，再将其分享给受害者智能体降低性能。本文参考了J.Tu等人（2021）的研究，对于每个恶意智能体，设计了对抗扰动相关的损失函数，旨在从分类后验概率和边界框空间位置两个方面，降低受害者智能体目标检测的准确性。同时，使用Projected gradient descent进行迭代优化，使得对抗扰动始终在约束的范围内，无法通过可视化进行明显地区分（如图2）。

图 2. 施加与未施加对抗攻击的情况下，中间特征图的可视化和目标检测结果的比较

MADE：特定于MAC感知的反应式防御机制

MADE的流程图如图3所示，其设计的关键思想是通过评估每个智能体与自我智能体的“一致性”来检查是否恶意。具体来说，MADE会分别计算自我智能体不协作和只与被检查的智能体协作两种情况下的融合特征图和最终输出，衡量这两个维度下的“一致性”。MADE的检测器分为三部分：1）Match Loss（匹配损失统计量），用于评估最终输出的一致性，2）Collaborative Reconstruction Loss（协作重建损失统计量），用于评估中间特征的一致性，3）Multi-test（多重测试），用于联合利用上述两个统计量。

图 3. 被MADE保护的标准MAC感知流程

匹配损失（Match Loss）

匹配损失统计量是一种用于评估两个边界框建议（Bounding Box Proposals）集合之间一致性的非对称度量。如同对抗扰动的Loss设计，对于Match Loss本文同样考虑分类后验概率和边界框空间位置这两个方面，使得在与良性智能体协作的情况下损失偏小，而与恶意智能体合作时损失较大，进而形成明显的区分。

协作重建损失（Collaborative Reconstruction Loss）

协作重建损失统计量用于衡量自我智能体在与被检查智能体协作与不协作情况下的融合特征图的一致性。由于中间特征图通常包含嘈杂的背景信息，这类噪声往往会影响对于对抗扰动的判断，因此这里选择将两个情况下的融合特征图相减，研究去掉噪声后的残差特征图。显然，恶意智能体和良性智能体对应的残差特征图分布是明显不同的，本文选择用自编码器（Autoencoder）来学习分布。在实际应用中，防御者会先在良性智能体的残差特征图上训练自编码器，这样在恶意智能体的残差特征图通过自编码器时就会表现出异常大的重建损失。

基于多重测试的检测推理

最终的检测推理基于使用校准集计算的conformal p-values的多重测试。对于每个被检查的智能体，首先分别获得匹配损失统计量和协作重建损失统计量，再转化为多重测试，判断两个统计量是否分别符合假设。由于自我智能体始终是良性的，因此理想情况下拒绝这两个假设中的任何一个都是因为被检测的智能体是恶意的。同时，本文采用Benjamini-Hochberg (BH) 程序来控制多重测试的整体误检率。

实验结果

本文在仿真3D数据集V2X-SIM和真实世界数据集DAIR-V2X上进行了全面的评估，在MADE的保护下，平均精度（Average Precision，简称AP，这里使用AP@0.5）分别达到了58.49%和59.15%，相比理论最优（即去除所有恶意智能体）仅分别低1.27%和0.28%，和同为检测方法的ROBOSAC相比防御效果明显更高。同时，MADE的防御性能相比单独使用Match Loss或者Collaborative Reconstruction Loss进行检测都要更加优秀，证明了多重测试的有效性。

表 1. 不同数据集和不同对抗攻击扰动大小下MADE与baseline的防御性能对比，MADE显著更优

本文还在V2X-SIM数据集上测试了系统中同时存在多个恶意智能体的情况，当恶意智能体的数量增加或者恶意智能体协作优化对抗扰动时，受害者智能体的目标检测性能会明显退化。此时baseline方法无法识别多个恶意智能体，而MADE却依然能够保护受害者智能体的平均精度维持在较高水平，且与理论最优的差距最高也仅有5.59%，证明了MADE在极端情况下的鲁棒性。

表 2. V2X-Sim数据集上多个恶意智能体独立或协作攻击时MADE的防御性能

图4展示了两个数据集下三种不同防御方法的效果，可以看到在一段时间的路程中，baseline的防御效果较差，自我智能体对于周遭车辆的误判和未对齐预测是最多的，而MADE则与理论最优最为接近，误判或未对齐的预测很少出现，能够保证自我智能体在大部分情况下的预测是准确的。

图 4. 两个数据集下三种防御方法下目标检测结果的可视化

总结

本工作聚焦于新兴的多智能体协作感知系统的安全问题，提出了一种反应式的防御机制MADE，该机制能够在自我智能体的协作网络中检测并移除恶意代理。该防御机制基于多重测试，包含两个新颖的统计量，即匹配损失和协作重建损失，它们分别衡量自我智能体和其他智能体在中间特征图和最终输出两个维度上的一致性。同时，该机制采用Benjamini-Hochberg方法来控制误检率。本文在仿真和真实世界基准上进行了全面评估，结果表明该防御机制比之前的最先进方法更加有效。在V2X-SIM和DAIR-V2X数据集上分别达到了58.49%和59.15%的AP@0.5，仅比理论最优防御器低1.27%和0.28%。本文的研究者们相信，MADE为更鲁棒安全的多智能体协作感知系统提供了一个有潜力的解决方案。

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频