36、3D实例分割与跨模态3D形状生成及操作方法研究

3D实例分割与跨模态3D形状生成及操作方法研究

3D实例分割方法

在3D实例分割领域，研究人员进行了一系列实验来验证所提方法的有效性。
1. 数据集
- ScanNet ：共有1613次扫描，分为训练集（1201个）、验证集（312个）和测试集（100个）。实例分割任务在18个类别上进行评估，使用mAP（平均平均精度）和AP@50作为评估指标。
- S3DIS ：包含超过270次扫描，分布在6个大型室内区域。有13个实例分割类别，评估指标包括平均覆盖率（mCov）、平均加权覆盖率（mWCov）、平均精度（mPrec）和平均召回率（mRec）。
2. 实现细节
- 骨干模型 ：采用具有对称UNet结构的模型，共7个块，模型可扩展性由块的通道控制。分别使用小（通道单位为16）和大（通道单位为32）骨干模型，记为Ours - S和Ours - L。
- 输入特征 ：将坐标和RGB值拼接作为输入特征。
- 训练设置 ：所有实验使用4个GPU训练60K次迭代，每个GPU的批量大小为3，学习率设为1e - 3并遵循多项式衰减策略。
- 测试设置 ：忽略与辅助头相关的计算，使用非极大值抑制（NMS）去除冗余掩码预测，阈值为0.3。
3. 消融研究
- 基线方法