3D Indoor Instance Segmentation in an Open-World

文章总结与翻译

一、主要内容

该研究首次探索了开放世界下的3D室内实例分割问题，突破了传统封闭世界假设（训练时已知所有语义类别、推理时仅分割见过的类别）的局限性。核心目标是让模型既能识别已知类别，又能将未知物体标记为“未知”，且在后续获得未知类别标签时可增量学习该类别。

核心技术方案

1. 模型架构：基于Mask3D作为基线，融合3D卷积骨干网络、Transformer解码器，新增未知物体识别模块、伪标签生成机制、对比聚类模块和概率校正模块。
2. 伪标签生成：采用置信度阈值（CT）策略生成未知类别的伪标签，避免传统top-k选择导致的性能损耗，提升已知类和未知类的检测精度。
3. 对比聚类与原型更新：通过对比损失函数增强查询嵌入空间中已知类与未知类的分离度，利用匈牙利匹配分配查询目标，基于指数移动平均更新类别原型。
4. 可达性概率校正（PC）：结合查询与已知类别原型的距离（可达性）和目标置信度，校正未知类别的预测概率，提升未知类召回率。
5. 增量学习优化：采用范例重放策略缓解灾难性遗忘，在学习新类别时保留对旧类别的识别能力。

数据集与评估

• 基于ScanNet200数据集设计三种开放世界分割方案（Split A：实例频率导向、Split B：区域探索导向、Split C：随机类