论文“V2XP-ASG: Generating Adversarial Scenes for Vehicle-to-Everything Perception”解读

原文链接：​​​​​​​https://arxiv.org/pdf/2209.13679.pdf

本文主要讲述了V2XP-ASG，这是第一个针对V2X感知系统的对抗场景生成框架。作者介绍了V2X的研究背景，提出了V2XP-ASG框架的设计和实现方法，说明了如何使用该框架生成具有挑战性的场景以提高感知系统的性能，并通过实验验证了其有效性。

V2XP-ASG对抗场景生成框架

V2XP-ASG是作者构建的一种针对基于LiDAR的V2X感知系统的开放式对抗场景生成框架。该框架主要由两个组件组成：Adversarial Collaborator Search (ACS)和Adversarial Perturbation Search (APS)。其工作原理如下：

1. ACS从给定的数据集中选择一个初始场景，并固定一个自我智能体；
2. ACS搜索与该自我智能体协作的其他智能体，并计算每个可能的协作组合对感知系统性能的影响；（每个智能体的权重为：sj =Avg([a1]i∗j,...,[am]i∗j)，其评分计算方式为：我w = sum(1/si)。对于每组智能体组合，用Softmax函数计算其概率分布，方式为p = Softmax(w/T)，此处T是一个用于控制概率分布的参数。Softmax函数可以将一个含任意实数的维向量压缩到另一个K维实向量中）；
3. 根据每组智能体的评分，选择最具有挑战性的、也就是最能影响原场景的组合；
4. APS在这个组合上进行姿态扰动，以反映由于传感器视角变化和姿态扰动引起的更新LiDAR观测。对抗损失值计算方式为Loss_adv = 􏰆Sum(w_t * AP)
5. 更新后的LiDAR观测被馈送到目标感知系统中，并使用对抗损失的大小评估预测结果；
6. 通过优化来更新智能体的姿态，以进一步提高场景的挑战性和真实性。

• 注：在对抗协作图中，由于计算资源和时间限制，ACS需要对这个初始协作图进行剪枝操作（prune）来减少协作图中的节点数量，以提高搜索效率。这个剪枝过程可以通过一些启发式方法来实现，例如基于节点重要性或者边缘权重的排序和选择。通过这种方式，ACS可以在保证搜索效率的同时生成具有挑战性和多样性的对抗协作图，并用于后续的场景生成过程中。

APS过程的伪代码如下：

Sample m agents to perturb according to heuristics

Generate context-aware feasible set Q for m agents

Initialize historical observation D = {}

for i = 1 . . . M do

        Generate ∆(i) based on historical observation D and black-box search algorithm

        Project ∆(i) onto feasible set Q

        Get updated sensing observation from LiDAR simulatorX(i)=X(􏰂S+∆(i),I∗􏰃)

        Ladv(i)􏰃 􏰃=Ladv(f(X)(i) ,Y)

        D = D ∪ {(∆(i), L(i) )} adv

end for

∆(∗) = arg min (i) L(i) ∆ ,i∈{1,...,M } adv

通过这种方式，V2XP-ASG框架可以自动生成具有挑战性和多样性的场景，以帮助V2X感知系统更好地适应各种复杂环境，并提高其性能表现。该框架生成场景的效果图如下图所示。 图a显示的是传入V2XP-ASG框架之前正常的道路场景；图b表示正常场景在经过了Adversarial Collaborator Search步骤后，确定了被选择的智能体组合。如图所示，蓝色圈内的车辆便是被选中的智能体组合；图c表示，经过了Adversarial Perturbation Search的扰动步骤后，被选中的车辆较之前有了角度与位置上的偏差，这就是V2XP-ASG框架生成的对抗场景。

Benchmark实验

作者将生成的对抗场景传入P2X协同感知系统进行训练。为了比较不同协同方法，作者将正常与对抗两种场景应用在早期、中期、晚期和无协同的方法上，共进行了8次精确度测试，测试结果如下表所示。

结果表明，作者先前的V2X中期协同方法具有最高的精确度。除此以外，相比于在论文 OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception中的协同感知精度，经过对抗场景训练后的系统精确度提升了12%。

除此以外，作者还进行了以下多次实验：

1. 在普通、启发式和对抗三种场景下，作者在V2X中期协同感知系统上加入了微调技术（fine-tuning），以比较各类场景进行模型微调后的精度变化。微调技术是指使用V2XP-ASG生成的具有挑战性和多样性的场景对基线模型进行微调（fine-tuning），以提高其在这些场景下的性能表现。实验结果如TABLE II所示。通过比较fine-tuned模型和未经过微调的基线模型，作者发现经过微调的模型都显著地提升了测试精度。

2. 作者尝试将两种不同的协同类型结合在一起，并验证每种结合方案的平均精确度，实验结果如TABLE III所示。结果表明，将早期协同与晚期协同结合的模型拥有最高的平均精确度。此外，在对抗场景的表现上，所有模型的平均精确度都有明显的下降。

3. 作者尝试了ACS-R和ACS-A两种协作者选择策略。ACS-R是一种随机选择协作者的策略，而ACS-A选择策略是对所有可能的协作者组合进行评分，并选择得分最高的k个组合进行测试。在TABLE IV表格中，作者使用了早期、中期和晚期三种协同方法测试了这两种策略，并比较了它们在性能方面的差异。结果表明，相对于随机选择（ACS-R），ACS-A可以更多地降低检测性能。

Ablation Study

Ablation study是一种用于研究模型中不同部分的贡献或重要性的实验方法。在ablation study中，研究人员将模型的不同部分（例如，特征个数或神经网络层数）进行逐个或一组一组地移除或禁用，然后观察模型的性能是否有所下降。简单的说，比如我们提出了某种结构，但是要想确定此结构是否有利于最终的效果，那就要将去掉该结构的模型与加上该结构的模型所得到的结果进行对比，这就是ablation study。通过执行ablation study，研究人员可以确定哪些模型部分对于模型的性能至关重要，并根据此进行模型的调试和优化。这有助于更好地理解模型的工作原理并改进模型的设计和开发。

在这篇文章中，作者使用了ablation study验证了ASG框架中ACS与APS两个步骤的必要性。作者分别对二者都不执行、只执行ACS、只执行APS、二者都执行四种方式进行了精度测试，结果如TABLE V所示。通过比较四次测试的结果，作者发现ACS与APS二者都执行时模型的性能下降最多，也就意味着生成的对抗场景质量最好。因此验证了ACS与APS步骤的必要性。

黑盒优化算法（Black-Box Optimization Algorithms）

在V2XP-ASG框架中的APS阶段，作者使用了随机搜索（Random Search，RS）、遗传算法（Genetic Algorithm，GA）和贝叶斯优化（Bayesian Optimization，BO）三种黑盒优化算法来生成具有挑战性和多样性的场景。这些算法的目标都是使对抗目标函数L_adv的值最小化，以生成对V2X感知模型具有挑战性的场景。每种算法的原理如下：

1. 在随机搜索中，从在ACS生成的智能体组合中随机选取组合，进行扰动；
2. 在遗传算法中，维护一个候选扰动的种群，并通过选择适应度得分高的父代进行进化，即从群体中选择优胜的个体，淘汰劣质个体；
3. 在贝叶斯优化中，使用高斯过程模型来建立对目标函数的估计，并选择下一个采样点以最小化估计方差。

这三种黑盒优化算法都是基于目标函数值而不是其解析形式进行优化的方法。因此，在APS阶段中，这些算法可以帮助生成具有挑战性和多样性的场景，并提高感知系统的鲁棒性和性能表现。

作者还通过平均精确度来比较了这三种黑盒优化算法的性能，实验结果如下表TABLE VI：

由实验结果可得，遗传算法和贝叶斯优化算法的性能均优于随机搜索算法。贝叶斯优化算法具有最好的效果，是性能最好的算法。作者认为这是由于贝叶斯优化算法可以通过高斯过程模型来建立对目标函数的估计，并选择下一个采样点以最小化估计方差。这种方法可以更加高效地探索搜索空间，并在较少的迭代次数内找到更好的解决方案。此外，在本文中使用的目标函数L_adv是非凸、非光滑且高度噪声的，而贝叶斯优化算法可以通过建立对目标函数的估计来处理这种噪声，并在不同迭代之间共享信息以提高效率。因此，在本文中，贝叶斯优化算法具有最好的表现。