最新SOTA！SSL-Lanes：首篇运动预测中的自监督学习范式

原创

已于 2022-09-12 09:32:56 修改 · 537 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #算法 #python #计算机视觉 #神经网络

于 2022-09-09 07:30:31 首次发布

该论文首次将自监督学习引入运动预测，提出了名为SSL-Lanes的方法，设计了四个新颖的自监督任务，包括Lane-Masking、Distance-to-Intersection、ManeuverClassification和ForecastingSuccess/FailureClassification。这些任务旨在利用地图结构和车辆动态信息，提高模型的预测性能和泛化能力。在Argoverse数据集上，SSL-Lanes在性能、效率和结构复杂度之间达到了最佳平衡，优于使用Transformer和其他复杂机制的预测方法。实验结果证明了自监督学习对运动预测性能的提升，并提供了关于其作用的假设和实证证据。

论文链接：https://arxiv.org/pdf/2206.14116.pdf

摘要

自监督学习（SSL）已经成功应用于CNN和GNN中，以实现高可迁移、泛化性和鲁棒性的表示学习。但是在自动驾驶运动预测方向的探索工作却比较少。论文首次将自监督学习运用于运动预测，方法名为SSL-Lanes。SSL-Lanes研究了四种新颖的用于运动预测的自监督学习任务，并在Argoverse数据集上进行定量和定性比较。其次，论文指出，SSL-Lanes不仅在性能方面优于使用transformer、复杂融合机制和复杂的在线密集目标候选优化算法的预测方法，同时运行速度和结构复杂度更低。最后，SSL-Lanes进行了相关实验，探索了SSL提升运动预测性能的原因。

论文主要贡献如下：

论文证明了将自监督学习纳入运动预测的有效性。由于不会在推理时引入额外的参数量或计算量，因此SSL-Lanes在Argoverse [8]基准测试中实现了最佳的准确性-简单性-效率的权衡。
论文根据运动预测问题的性质提出了四个自监督任务。关键思想是利用易于访问的map/agent-level信息来定义特定领域的前置任务（pretext tasks），与监督学习相比，这些任务鼓励模型捕获更好且泛化性更高的的预测表示。
论文进一步设计实验探索了为什么运动预测会从 SSL 中受益。与监督学习得到的模型相比，论文提供了扎实的实验结果来证明SSL-Lanes从SSL训练中学习了更丰富的特征。

方法

SSL-Lanes的目标是通过与各种自监督任务同时学习来提高运动预测基线的性能。上图为SSL-Lanes的整体框架。

自监督遇上运动预测

在讨论设计前置任务来生成自监督信息之前，首先进行如下的方案探索，该方案可以将自监督的前置任务和论文提出的标准框架结合起来进行联合训练。

如何结合运动预测和SSL？

自监督学习可以通过多种方式与运动预测相结合。一种方案是使用前置任务（可以视为编码器参数的初始化）进行预训练，然后使用下游解码器进行微调输出结果。另一种方案是冻住编码器，而只训练解码器。第三种方案是联合训练前置任务和主要任务，即作为一种多任务学习设置。受GNN的启发，论文选择了第三种方案，即多任务学习，也被实验证明是最有效的[22, 48]。

联合训练

SSL-Lanes的输出和训练过程可以表述为：