47、灵活装配单元中实例分割缩小现实差距的不同方法分析

灵活装配单元中实例分割缩小现实差距的不同方法分析

1 引言

目标检测在装配和机器人等多个领域都非常重要。基于学习的目标检测能有效泛化，在效率和准确率上大多优于传统方法。不过，使用目标检测和实例分割网络时，数据生成是一大难题。通常需要像 ImageNet 或 COCO 这样在光照和噪声水平上具有多样性的大型数据集，以实现泛化。虽然合成数据是一种解决方案，但模拟数据和真实数据之间存在性能差距。因此，我们评估了三种缩小这一差距的方法：领域随机化、领域适应和照片级真实感渲染。

• 照片级真实感渲染 ：尝试捕捉现实世界的物理特性，从而渲染出逼真的图像。
• 领域适应 ：学习两个领域之间的映射变换，将模拟生成的图像转换到更真实的领域。
• 领域随机化 ：应用不同类型的噪声，模拟现实世界的多样性。

我们的工作是分析和比较这些数据生成方法在实例分割网络训练中的适用性，该网络用于实际的装配场景。

2 相关工作

2.1 领域随机化（DR）

领域随机化的理念是让训练过程学习通用的场景特征，以便更好地迁移到真实数据。以往的工作会随机化物体的姿态、添加形状到场景中，给物体添加任意纹理，随机化相机位置和光照设置，还会用 COCO 数据集中的随机图像替换背景。也有方法会随机化场景中背景物体的纹理，如放置物体的桌子、机器人和地板等。

2.2 领域适应（DA）

在领域适应中，图像从一个领域转换到另一个领域。一些流行的领域适应方法