OctreeOcc: 使用八叉树查询的高效多粒度占用预测

OctreeOcc:

文章链接:OctreeOcc

概述

OctreeOcc是一个创新的3D占用预测框架，它通过利用八叉树结构自适应地捕获3D空间中的关键信息，并结合图像数据来提高结构的精确性，同时通过有效的校正机制进行迭代细化，相比于传统密集网格方法，在保持优越占用预测性能的同时，显著降低了15%-24%的计算开销。

比较新颖的点：

1.引入了基于多颗粒度八叉树查询的3D占用预测框架OctreeOcc：

通过预测八叉树结构为不同区域提供不同的建模颗粒度，在保留空间信息的同时减少了需要建模的体素数量，从而减少了计算开销并保持了预测精度
从图1中可以看出，（a）表明语义类别只占空间的一小部分，建模空区域密集地影响计算效率。（b）和（c）证明了八叉树表示的优越性，我们可以对不同尺度的对象或空间应用不同的粒度，这减少了计算开销，同时保留了空间信息。半透明区域代表空体素

2.开发了语义引导的八叉树初始化模块和迭代结构校正模块：

将语义信息作为初始化八叉树结构的前身。随后，我们迭代更新结构，确保与场景更准确地对齐的持续校正

---

重点！：

1. 图像特征提取(Image Backbone)

使用ResNet101-DCN作为backbone,从多视角图像中提取多尺度特征,用于后续模块。

2. 密集查询初始化(Dense Query Initialization)

八叉树初始化模块将八叉树转换为稀疏八叉树查询Qoctree：

A：稀疏和多颗粒度的八叉树查询

创建灵活的体素表示，以适应不同尺度的语义区域，通过预测八叉树掩码来启动，这个预测八叉树掩码Mo是获取八叉树结构的关键元素，促进了八叉树到Qoctree的转换：