29、3D实例分割与图像抠图的前沿技术探索

3D实例分割与图像抠图的前沿技术探索

在计算机视觉领域，3D实例分割和图像抠图是两个重要的研究方向。3D实例分割旨在从3D场景中准确识别和分割出不同的实例对象，而图像抠图则是将图像中的前景对象从背景中分离出来。本文将介绍两种创新的方法，分别是用于3D实例分割的Dynamic Kernel Network（DKNet）和用于图像抠图的TransMatting网络。

1. 3D实例分割：DKNet的实验与分析

1.1 实验设置

• 数据集 ：使用ScanNetV2和S3DIS两个数据集进行训练和评估。ScanNetV2包含1613个场景，有20种不同的语义类别，分为训练集（1201个场景）、验证集（312个场景）和测试集（100个场景），测试集标签隐藏以保证公平比较。S3DIS数据集由271个场景组成，来自6个不同区域，有13种不同的对象类别。
• 评估指标 ：在ScanNetV2上，使用不同IoU阈值下的平均精度均值（mAP）作为评估指标，AP@25和AP@50分别表示IoU阈值为25%和50%时的平均精度。在S3DIS上，当IoU阈值设为0.5时，使用覆盖率（mCov）、加权覆盖率（mWCov）、平均精度（mPrec）和平均召回率（mRec）作为评估指标。
• 训练细节 ：将点的坐标和颜色连接成6D向量。在单个RTX 3090 GPU上以批量大小为4训练400个epoch。使用AdamW优化器，初始学习率为0.001，通过余弦调度器调整学习率，权重衰减设置为1e - 5。对ScanNetV2的点云进行0.02m的体