SOTA！OPGP：结合占用预测的自动驾驶规划器，性能再上一层！-优快云博客

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

后台回复【规划控制综述】获取自动驾驶、智能机器人规划控制最新综述论文！

作者｜汽车人

编辑｜自动驾驶之心

在复杂的交通场景中预测周围交通参与者的可扩展未来状态是自动驾驶汽车的一项关键能力，因为它能够实现安全可行的决策。最近在基于学习的预测和规划方面取得的成功带来了两个主要挑战：为环境生成准确的联合预测，以及为规划意图集成预测指导。为了应对这些挑战，本文提出了一个称为OPGP的两阶段集成神经规划框架，该框架结合了占用预测的联合预测指导。初步规划阶段基于模仿学习目标，同时输出各种类型交通参与者的预测占用率，同时考虑统一Transformer结构中的共享交互、场景上下文和参与者动态。随后，转换后的占用预测指导优化，以进一步为Frenet坐标下的安全和平稳规划提供信息。论文使用大规模的真实世界驾驶数据集来训练规划器，并在开环配置中进行验证。本文提出的规划器优于基于学习的强方法，由于占用预测指导，表现出更好的性能。

开源链接：https://github.com/georgeliu233/OPGP

简介

准确预测多个交通参与者（代理）的稳健、社会兼容的联合未来，为决策模块提供信息，是自动驾驶系统（ADS）的一项关键能力。然而，由于几个因素，综合预测和规划带来了重大挑战。首先，ADS必须处理大量复杂的交通场景，每个场景都以社交互动的异构交通参与者的组合为特征。其次，运动预测器必须管理附近众多交通参与者的未来状态的联合模式。此外，路径级规划决策需要联合预测的可行指导，以执行ADS的安全和平稳规划性能。

为了实现最佳预测指导，大多数预测研究都集中在多智能体轨迹预测（MATP）上，它直接映射选定的周围参与者的未来位置的联合序列。然而，这种方法受到搜索成本的阻碍，搜索成本随着参与者数量线性增长，对于边缘运动预测呈指数增长。最近，研究人员转向了预测占用网格。

作为一种视觉表示，占用预测为多个参与者提供了一种更高效和可扩展的形式。此外，它可以一眼预测不同参与者的未来，在整合规划决策时，与MATP相比，它为闭塞的可预测性提供了增强的安全性。然而，在联合占用预测的背景下，捕捉所有互动参与者的社会意识仍然是一个悬而未决的问题。

相反，基于学习的运动规划越来越受到关注。它处理不同驾驶场景的能力通过使用统一的神经网络取得了令人印象深刻的结果。然而，基于学习的规划的稳健性和安全性可能会因不稳定性而受到损害。为了解决这个问题，集成预测指导已成为这种学习结构的标准方法。通过学习基于相邻预测的主动响应和运动约束，预计会有一个更安全、更稳健、更符合社会要求的规划系统。一种常见的方法是通过使用周围参与者的未来轨迹进行规划来整合预测。尽管使用MATP对联合轨迹建模存在困难，但有限的研究探索了占用作为预测指导的来源。预测联合未来占有率在将基于视觉的预测特征集成到神经网络中进行规划方面提出了相当大的挑战。此外，将信息丰富的预测入住率转化为可行的规划结果是一个值得进一步研究的问题。

为了应对这些挑战，如图1所示。论文提出了一个基于两阶段学习的框架（称为OPGP），该框架将未来占用和运动规划的联合预测与预测指导相结合。在第一阶段，在Transformer骨干上建立了一个以占用预测为指导的综合规划网络。在之前的工作的基础上，同时输出所有类型交通参与者的占用预测，同时考虑视觉特征和矢量化上下文的交互感知。同时，在规划器头中共享并有条件地查询编码的场景特征和占用情况，规划器头对ADS的轨迹进行多模态运动规划。第二阶段侧重于以优化可行的方式对来自占用预测的明确指导进行建模，以进行运动规划细化。更具体地说，在Frenet空间中构建了一个优化管道，用于使用转换的占用预测进行规划细化。

总结来说，本文的主要贡献如下：

本文提出了一种两阶段占用预测引导的神经规划流水线。第一阶段涉及集成的占用预测引导的运动规划框架。预测占用率与基于Transformer的结构中的多模态规划轨迹相结合，考虑了交通参与者之间的社会互动和场景背景；
在第二阶段，论文设计了一种基于transformer的占用预测引导优化，用于规划细化，以进一步提高规划性能；
论文在大规模的真实世界驾驶数据集上验证了两阶段框架，所提出的流水线实现了令人信服的性能。

方法

问题定义

如图1所示，占用预测引导的神经规划器由两个阶段组成。在第一阶段，具有占用预测指导的运动规划决策可以被公式化为多任务学习范式。随后，第二阶段利用Frenet变换进行预测和规划，以实现可实现的预测导向优化，从而生成精细的规划输出，使定义的成本最小化。从数学上讲，两阶段任务公式化为：

综合预测和规划框架

图2说明了本文基于学习的框架的总体结构，该框架集成了占用预测和规划，由三个模块组成。首先对先前工作中的多模态场景输入S采用了单独的编码。编码的视觉和矢量特征随后被传递给占用预测和规划主管。对于占用头，保留之前的聚合和解码管道，然后进行编码向量和视觉特征的后融合。预测头最终针对未来地平线的每一秒输出所有类型的占用预测。对于多模态规划头，论文遵循Transformer解码器范式，并使用单层解码头进行多模式路径规划。更具体地说，最初引入了一组k个规划锚来指导规划头的模式。每个锚点K可以是静态端点簇，也可以是用于启发式地指导规划解码的可学习嵌入的动态锚点簇。然后，这些锚点在自注意力之后充当用于编码的视觉和向量特征的上下文查询Q。

对于多头交叉注意力模块（MHCA），目标是从视觉上下文、矢量化动力学和自车的场景拓扑中自适应地获得交互感知特征。本文使用不同的MHCA块来实现视觉和矢量特征的单独查询，作为K,V.这是由于填充视觉特征的长度，当考虑连接注意力头部时，填充视觉特征会稀疏注意力得分。在随后的前馈网络（FFN）之后，每个模式将解码为规划路径的输出和模仿可能性的相应概率。

论文将第一阶段学习框架制定为多任务学习范式，并使用大规模数据集对目标进行离线更新。对于占用预测，由于每个网格单元预测特定未来范围内的占用概率，使用focal loss来平衡每种类型参与者的占用样本：

对于多模态规划，模仿学习目标更新如下：

预测导向的规划细化

给定场景交通参与者的占用预测以及多模式初始规划结果，OPGP的第二阶段构建了一个预测引导的管道，用于规划细化。首先，本节设计了一个使用Frenet坐标进行预测和规划的转换范式。然后引入了一种以转换后的占用预测为指导的规划优化。

转换：利用Frenet坐标来实现转换目标，因为它们缓解了规划优化的困难。

对于初始规划结果，首先选择得分最高的轨迹，然后对其进行变换。对于预测的占用率，目标是过滤掉以I为中心的占用率预测，并扩展到Frenet框架下的占用率。这种转换将可扩展占用的搜索空间集中在没有遮挡的规划上。此外，Frenet变换的占用率减轻了规划优化的凸性。

然后通过以下方式收集变换后的占用预测：

在OPGP管道中，输出转换后的规划将在来自的预测指导下进行优化，以进行规划细化。

优化：为了确保提高规划结果的安全性和运动性能，我们在有限范围内提出了一个开环优化问题。优化搜索最小化由变换的占用预测引导的成本函数集C的最优序列。更具体地说，C是加权的的一组成本函数的平方和：

1）驾驶进度：为了鼓励高效驾驶，本文在限速范围内提供一致的纵向速度成本，从而实现更多的道路进度：

2）驾驶舒适性：为了促进规划舒适性和驾驶平稳性，本文引入了加速度和急动的最小化：

3）遵守规则：本文希望设计的ADS符合交通规则，并保持在参考车道内。因此，分别基于（s，d）上的最大利润目标提出了偏离路线成本和红绿灯成本：

4）预测导向的安全性：为了提高规划精细化的驾驶安全性，论文利用转换后的占用预测作为安全驾驶的动态障碍。占用预测被认为是由参与者类型加权的潜在冲突成本：

由于帧之间保持占用的问题，预测的占用中的参与者可能会用长尾放大。这可能会导致ADS的驾驶过于保守。因此，本文为超过阈值的自信碰撞成本设计了一个自信安全距离：

为了简化优化，本文只对规划细化进行纵向指导。考虑到前方标志距离：

实验

实验设置

论文使用Waymo开放运动数据集（WOMD），其中包含超过500000个样本，涵盖了广泛的现实世界驾驶场景。它捕捉了各种类型的交通主体之间的复杂互动和动态，包括车辆、骑自行车的人和行人。对于在第一阶段作为输入的场景上下文S，每个参与者的历史状态在过去1秒内以10Hz采样（Th＝10），而预测和规划目标在未来5秒内以1Hz进行预测，以10Hz进行规划（T＝50）。输入和输出的BEV图像分辨率为H，W=128，在现实世界中渲染n=1.6像素/米。将隐藏维度设置为96。对于矢量输入，按照参与者到AV的平均距离排序，最大保持=31个周围参与者。根据标准度量，在多模态规划解码中设置锚点k=6。对于OPGP的第二阶段，参考路线I每0.1m平滑相交一次，转换后的占用预测大小为S=1000，D=20。出于规划目的，随机拆分记录的20秒WOMD，得到297669个样本用于训练，并选择感兴趣的场景进行验证和测试（每个47728个）。

基线：为了验证OPGP框架的预测和规划性能，本文将其与几个强基线进行了比较。1）对于占用预测提供了没有规划头的普通STrajNet和VectorFlow SwinT，这是一种改进的基线预测器，使用Swin Transformer bottleneck简化了聚合和编码。2）对于开环规划，将其与Vanilla IL进行比较，即仅OPGP的第一阶段，以及设计有OPGP瓶颈的DIM[36]。这些基线也可以作为没有OPGP中一些拟议模块的消融方法。

定量结果

1）预测性能：论文报告了OPGP与其他强基线相比的测试性能。如表II所示，与专门为占用预测任务设计的Vanilla STrajNet相比，OPGP的预测性能略有下降。这是因为OPGP是一个同时具有预测和规划头的多任务学习管道。更重要的是，目前的设计只考虑了从预测到规划的特征引导。因此，多模态规划的训练目标需要对用于占用预测的解码头做出进一步的贡献。

2）规划性能：本文进行开环规划测试。如表I所示，Vanilla IL采用了OPGP的第一阶段，实现了最低的规划误差，证明了使用k个锚的多模态配置的性能增益。相比之下，DIM中用于模拟规划的单模态高斯不能解决复杂场景中的不确定性。与IL相比，所提出的OPGP产生了较低的规划误差，同时提高了安全性。由于第二阶段的占用预测引导优化，碰撞率和偏离路线率显著提高。精心设计的成本函数还通过减少运动指标中的抖动来提高驾驶舒适性。

定性结果

为了更好地了解OPGP的有效性，首先在测试期间使用占用预测的可视化来评估其在多个代表性驾驶场景中的性能。如图3所示，所提出的方法有效地处理了观察到的参与者（a，c，d）和高闭塞风险场景（a，c）。车辆的预测精度得到了很好的保持，但目前的方法只能确保较小参与者（b，d）的3s预测性能。为了展示预测引导的规划能力，我们显示了具有相应转换的占用预测的规划结果。

如图4所示，青色的规划会导致AV（红色）由于预测的接近行人而停止。此外，如红点圆圈所示，OPGP中的占用预测可以预测未被检测到的行动者，这些行动者将被智能体方法遗漏。

限制和未来工作

尽管目前的两阶段OPGP显示出了有希望的结果，但它也提出了一些需要进一步改进的主题。第一个问题是多任务学习中占用预测性能的轻微下降。这需要从网络设计到预测和规划的学习方案的联合交互。另一个问题是对手工制作的权重和保守的预测指导进行昂贵的调整，这迫使手动定义安全距离。占用预测需要额外的指导来消除难以处理的像素。未来的工作将旨在通过改进基于OPGP管道的网络结构来解决这些问题。

结论

本文提出了一种两阶段的占用预测导向神经规划器（OPGP），该规划器通过预测导向以联合的方式细化基于学习的规划。论文开发了一个集成的基于学习的框架，该框架具有Transformer主干，专为全面的占用预测和多模态规划目标而设计。在预测和规划的第一阶段输出之后，建立在曲线框架上的转换占用引导优化，通过使用手工制作的成本函数设计实现了直接的规划细化。使用大规模的真实世界数据集（WOMD）对预测和规划性能进行了广泛验证。与普通的强预测基线相比，规划结果表现出稳健的性能，证明了安全性和驾驶平顺性的提高。此外，定性结果证实了转换后的占用预测指南的有效性，表明与智能体方法相比，在处理未被检测和被遮挡的参与者方面具有更高的可扩展性。

参考

[1] Occupancy Prediction-Guided Neural Planner for Autonomous Driving

视频课程来了！

自动驾驶之心为大家汇集了毫米波雷达视觉融合、高精地图、BEV感知、传感器标定、传感器部署、自动驾驶协同感知、语义分割、自动驾驶仿真、L4感知、决策规划、轨迹预测等多个方向学习视频，欢迎大家自取（扫码进入学习）

（扫码学习最新视频）

国内首个自动驾驶学习社区

近1000人的交流社区，和20+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、Occpuancy、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！