Open3DIS项目中的帧数差异与3D提示分割优化方案解析

Open3DIS项目中的帧数差异与3D提示分割优化方案解析

Open3DIS Open3DIS: Open-vocabulary 3D Instance Segmentation with 2D Mask Guidance (CVPR 2024) 项目地址: https://gitcode.com/gh_mirrors/op/Open3DIS

关于ScanNet200验证场景帧数差异的技术分析

在Open3DIS项目中使用ScanNet200数据集进行验证时，研究人员发现官方提供的验证场景帧数与自行渲染结果存在显著差异。经过技术分析，这一差异源于ScanNet数据采集时的采样策略。

ScanNet数据集在采集过程中采用了间隔采样技术，具体实现为每5帧记录一次数据。这种采样方式在SensorData.py文件中通过计数器控制实现，能够有效减少数据冗余，同时保持场景信息的完整性。对于验证场景而言，475帧的结果正是这种采样策略下的产物，而直接使用原始.sens文件渲染则会得到全部连续帧，导致帧数大幅增加。

3D提示分割中的结果过滤技术

在Open3DIS项目进行3D提示分割时，系统通常会为单个文本提示生成多个3D结果，而实际应用中往往只需要一个最优结果。针对这一需求，研究人员提出了多种技术方案：

1. 基于CLIP置信度的筛选：直接选择CLIP特征匹配度最高的结果作为最终输出。这种方法实现简单，但存在可靠性问题，因为CLIP置信度并不总是与分割质量正相关。

2. 非极大值抑制(NMS)算法：借鉴2D检测中的思路，对3D空间中的重叠结果进行抑制，保留最具代表性的输出。

3. DBSCAN聚类：对3D结果进行空间聚类分析，合并相似结果并去除离群点。

4. 启发式过滤算法：结合多种几何和语义特征设计综合评分机制，如结果体积、表面连续性等。

2D与3D分割结果的协同优化

在提示分割流程中，2D分割器生成的掩码可以直接提升为3D输出，但这种方式存在明显缺陷。2D分割器在不同视角下可能产生不一致甚至错误的预测，直接合并会导致3D输出质量下降。

Open3DIS项目采用了一种渐进式优化策略：通过CLIP特征在多视角间的传播和融合，逐步修正2D分割中的噪声。这种方法能够有效识别并过滤错误预测，例如在特定查询案例中，可以避免将其他物体误识别为目标物体。

技术实现上，系统通过以下步骤确保分割质量：

• 多视角2D分割结果采集
• CLIP特征提取与跨视角传播
• 3D空间中的特征融合与噪声过滤
• 基于优化特征的最终结果生成

这种方案相比直接合并2D结果具有明显优势，能够在复杂场景中保持较高的分割准确性。

Open3DIS Open3DIS: Open-vocabulary 3D Instance Segmentation with 2D Mask Guidance (CVPR 2024) 项目地址: https://gitcode.com/gh_mirrors/op/Open3DIS