用于自监督占用预测的可微透射-紧急占用

论文地址：[2210.01917] 用于自监督入住率预测的可微光线投射 (arxiv.org)

这篇文章介绍了一种用于自我监督占用预测的可微分射线投射方法，提出了一种新颖的可微分射线投射过程，用于学习LiDAR扫描预测任务下的占用预测-紧急占用。该射线投射设置还允许将自车运动与场景运动分离，使得网络更容易学习预测任务

下面介绍下作者的方法;

1.占用定义（Occupancy）

公式（1）定义了一个空间-时间体素网格中的占用状态，用于表示体素是否被占用。这个占用状态可以根据传感器数据和车辆轨迹进行推测，因此存在多个可能的占用状态集合Z。

公式（2）可以解释为，我们将激光雷达扫描和自我意识车辆轨迹（x，y）的对齐序列分成历史对（x1，y1）和未来对（x2，y2）。我们的目标是学习一个函数f，它将历史观察（x1，y1）作为输入，并预测未来出现的占用^z2

2.光线投射（Raycasting）

作者使用符号ˆz表示占用状态的估计值，符号y表示传感器起点，符号r表示射线的方向向量。作者定义了一个可微分的射线投射器R，它接受射线r、占用状态估计值ˆz和传感器起点y作为输入，并输出射线击中障碍物前的预期距离ˆd。然后，作者使用ˆd来重构射线投射的LiDAR扫描ˆx，即ˆx = y + ˆd * r。通过这种射线投射的方法，作者可以将LiDAR扫描数据转化为占用状态的估计值，从而实现对自动驾驶车辆周围环境的感知。这种方法具有可微分性，可以与神经网络结合使用，进行自我监督学习

3.学习预测占用（Learning to Forecast Occupancy)

该方法基于预测的占用状态ˆz和捕获的传感器姿态y，利用可微分的射线投射器R，将射线r作为输入，并产生预测的距离ˆd。通过不同iable Raycasting实现自我监督学习。该方法利用可微分的射线投射器，将LiDAR扫描数据转化为预测的占用状态，并通过解耦自车运动和场景运动来提高预测性能。

通过最小化损失函数，可以优化预测的未来轨迹，使其更接近真实未来轨迹。

4，学习策略（Learning to Plan）

此段是本论文中的核心观点，使用神经运动规划器，它产生可解释的中间表示，并且不需要昂贵的对象跟踪标签。这些规划器通过学习预测未来的扫描结果，可以使用自监督学习技术进行训练。

（4）这个公式描述了学习规划中的预测过程

（5）这个公式描述了在学习规划中如何选择最佳的轨迹，以使得成本最小化

（6）这个公式描述了在学习规划中如何计算轨迹的相似性或差异性。通过计算轨迹之间的距离，可以评估它们之间的相似性或差异性，并用于规划过程中的决策

（7）这个公式用于衡量候选轨迹ˆy2和专家演示轨迹y2之间的差异

通过引入额外的惩罚项来区分候选轨迹-—>这有助于为与专家演示相距相等但具有不同障碍物或约束条件的轨迹分配不同的成本，如下图所示，在存在障碍物的情况下，红色轨迹的成本应该高于蓝色轨迹，尽管两者都与专家演示等距。

（8）这个公式在文档中用于描述学习规划中的成本计算过程。它提供了一种计算候选轨迹成本的方法，以便在规划过程中进行决策和优化（成本由两部分组成：欧几里得距离的平方和和一个与ˆy2的特征相关的惩罚项。欧几里得距离的平方和衡量了ˆy2和y2之间的差异，而惩罚项则考虑了ˆy2的特征或属性。通过调整参数γ和函数P(ˆy2)，我们可以控制成本计算中对欧几里得距离和特征的重要性。这个公式提供了一种数学表达式来量化候选轨迹的成本，并用于评估候选轨迹的质量和选择最佳轨迹。）

为了进一步优化候选轨迹和专家演示轨迹之间的关系，公式（9）是用于计算候选轨迹的成本，其中[u]表示候选轨迹的某个属性或特征，α是一个预定义的常数，proj(ˆz2; y2)[u]表示ˆz2在y2上的投影，ˆy2 ∈ ˆy2表示候选轨迹，y2表示专家演示轨迹，如图Fig.3所示

作者的训练和推理时间规划架构概述。（a）中突出显示的网络分支用于学习未来的紧急占用，该分支由预测剩余成本图的残差分支增强，最终用于计算引导规划损失

加入多任务规划：除了图4中的光线投射损失之外，作者添加了Lp作为额外的计划损失。换句话说，紧急占用预测架构增加了另一个解码器分支，以预测剩余成本图，同时共享编码器特征。正因为如此，紧急占用预测成为端到端运动规划器的辅助任务。作者在图4（a）中说明了训练期间的网络架构

测试时间占用成本：

公式（10）表示了候选轨迹的成本计算，其中[u]表示候选轨迹的某个属性或特征，ˆy2 ∈ ˆy2表示候选轨迹（这个公式提供了一种计算候选轨迹成本的方法，其中只考虑了候选轨迹的属性或特征。通过计算这些成本，可以评估候选轨迹的质量，并在规划过程中进行决策和优化）

简化的测试时间架构图如Fig.4所示在选择未来轨迹时，作者将未来轨迹的搜索空间限制在从过去轨迹平滑过渡的那些神经运动规划器中

5，实验结果

用于自监督占用预测的可微透射

基于真实激光雷达扫描的紧急占用预测的间接评估。在nuScenes和ONCE上，我们通过使用可微光线投射来解耦场景和自我意识，显着提高了所有指标的预测准确性

作者强调了我们的自我监督方法的优点，该方法可以以提出的档案激光雷达扫描的形式提供任意数量的未标记激光雷达数据进行训练，从而提高紧急占用预测的性能（使用平均精度和F1等分类指标进行评估）。

未来以自我意识为中心的自由空间，来自[10]和我们的模型，来自预测的紧急占用。注意我们的方法是如何很好地捕捉到路边移动和停放的汽车的存在的，甚至在未来是3秒

nuScenes-val上最先进的端到端运动规划器。NMP和P3是可以访问目标跟踪

具有较低L2误差的普通时空轨迹wt（黄）。专家（绿），可能会碰撞到物体，这与具有较大L2误差但没有碰撞的提议轨迹（蓝）不同

上图为学习模型的定性结果。从上到下，我们可视化各种场景，包括减速、加速、导航十字路口和保持静止。第一列之后的所有列都在未来时间戳t=0.5s下可视化。我们成功地预测了周围物体的运动，例如在第三排，这导致更安全的计划轨迹。

6，总结

1）网络架构：文章使用了一个具有两个解码器的神经网络架构，一个用于预测未来占用成本图，另一个用于预测剩余成本图。可微分射线投影作为一层添加在占用成本图上，生成未来时间步的射线投影。

2）成本计算：文章提出了一种成本计算方法，通过考虑候选轨迹的属性或特征，计算候选轨迹的成本。这个成本计算方法可以用于评估候选轨迹的质量，并在规划过程中进行决策和优化。

3）实验评估：文章进行了多个实验来评估所提出方法的性能。实验包括消融研究、定性分析和与基线方法的比较。结果表明，所提出的方法在占用预测和运动规划方面具有较好的性能。

总的来说，这篇文章提出了一种基于可微分射线投影的自我监督占用预测方法，并通过实验证明了该方法的有效性和优势。这种方法有望在自动驾驶和机器人导航等领域中发挥重要作用。