InverseMatrixVT3D：简单高效实现三维占用预测模型！

论文标题：
InverseMatrixVT3D: An Efficient Projection Matrix-Based Approach for 3D Occupancy Prediction
论文作者：
Zhenxing Ming, Julie Stephany Berrio, Mao Shan, and Stewart Worrall

导读：本文提出了一种简单有效的方法——利用投影矩阵将环视图图像特征转换为三维体积特征，用于三维语义占用预测。该方法利用两个投影矩阵来存储静态的映射关系，并利用矩阵乘法高效地生成全局鸟瞰图特征和局部三维体积特征。在nuScenes数据集上的实验表明：该方法在三维目标检测和分割任务上取得了极具竞争力的结果。©️【深蓝AI】编译

1. 方法引出

感知周围的环境对于自动驾驶汽车来说至关重要。近年来，以环视图为输入的自动驾驶系统因为成本低、稳定性高受到越来越多的关注。这种系统在各种3D感知任务中展现出了良好的性能，包括深度估计、3D物体检测，在线高清(HD)地图构建和语义地图构建。

利用环视图像融合的3D物体检测可以在3D感知中发挥关键作用。然而，它在处理新场景方面面临诸多挑战。其中一个挑战是训练数据集中语义类的有限数量，这让深度学习模型理解新的场景变得困难许多。相比之下，通过直接重构3D场景来描述车辆周围环境是一个更实用的方法。

为了实现这一目标，一些学者提出了直接预测场景的3D占用情况的方法。这些方法将3D空间体素化并为每个体素分配一个概率以确定其是否被占用。3D占用充分表示了车辆周围的环境。这种表示本质上确保了几何一致性，并且可以准确描述被遮挡的区域。此外，它也可以处理训练数据集中不存在的物体类。尽管这些方法很有前景，但它们的内部结构相当复杂，而且需要额外的传感器来提供监督信息。