T-LESS: An RGB-D Dataset for 6D Pose Estimation of Texture-less Objects

最新推荐文章于 2025-07-07 21:26:00 发布

原创

最新推荐文章于 2025-07-07 21:26:00 发布 · 2.8k 阅读

7 ·

CC 4.0 BY-SA版权

本文为博主原创文章，转载请声明作者rockray21。如有问题，欢迎指正。

文章标签：

#人工智能

T-LESS是一个针对无纹理刚性物体6D姿态估计的公共数据集，包含30个无明显纹理的工业对象，用于评估和提升技术在遮挡和复杂场景中的表现。数据集提供精确的6D真实姿势，以及由不同传感器捕获的训练和测试图像，旨在推动6D定位技术的发展。

T-LESS: An RGB-D Dataset for 6D Pose Estimation of Texture-less Objects

如有错误，欢迎指正
摘要
1 介绍
2. Related Datasets
3. The T-LESS Dataset
4. Design Validation and Experiments
- 4.1. Accuracy of the Ground Truth Poses
- 4.2. 6D Localization
5 结论
感想

如有错误，欢迎指正

本文翻译为机翻，仅作初步了解学习使用，需要用到的时候再回来整理。
如有侵权，请私信本人。
原文链接: https://arxiv.org/pdf/1701.05498.pdf

摘要

我们引入了一个新的公共数据集T-LESS来估计无纹理刚性物体的6D姿态，即平移和旋转。该数据集包含30个与行业相关的对象，这些对象没有明显的纹理，也没有区分颜色或反射特性。这些物体在形状和/或大小上表现出对称性和相互的相似性。与其他数据集相比，一个独特的特性是某些对象是其他对象的一部分。该数据集包括由三个同步传感器（特别是结构光和飞行时间¹RGB-D传感器以及高分辨率RGB相机）捕获的训练和测试图像。每个传感器大约有39K个训练图像和10K个测试图像。此外，还为每个对象提供两种类型的三维模型，即手动创建的CAD模型和半自动重建的CAD模型。训练图像在黑色背景下描绘单个对象。测试图像来源于20个复杂程度不同的测试场景，从简单的几个孤立的对象场景增加到具有多个对象实例、具有大量杂波和遮挡的非常具有挑战性的场景。这些图像是从对象/场景周围的一个系统采样的视球中捕获的，并用所有建模对象的精确地面真实6D姿势进行注释。初步评估结果表明，6D目标姿态估计技术有很大的改进空间，特别是在有明显遮挡的困难情况下。T-LESS数据集在cmp.felk.cvut.cz/t-less

1 介绍

无纹理的刚性物体在人类环境中很常见，需要从图像中学习、检测和精确定位它们，这在各种应用中都会出现。刚性物体的姿态有六个自由度，即三个平移和三个旋转自由度，通常需要对其进行充分的了解。例如，在机器人学中，6D物体姿势有助于空间推理，并允许末端执行器作用于对象。在增强现实场景中，物体姿态可以用来增强人们对现实的感知，方法是通过增加物体的额外信息，比如装配指导的提示。

无纹理物体的视觉外观受其全局形状、颜色、反射特性和光源配置的控制。缺乏纹理意味着传统技术依赖于光度局部斑片检测器和描述符无法可靠地识别物体[9,31]。相反，最近处理无纹理物体的方法主要集中在局部三维特征描述[33,51,19]，以及主要依赖强度边缘和深度线索的半全局或全局描述[20,24,54,5,14,21,27]。因此，由广泛使用的Kinect类传感器获得的由对齐的颜色和深度图像组成的RGBD数据已经发挥了重要作用。
在这里插入图片描述

本文介绍了一种新的用于无纹理刚性物体6D姿态估计的公共数据集。图2中提供了包括的对象和测试场景的概述。该数据集以30个商品电气零件为特征，这些零件没有明显的纹理、可辨别的颜色或独特的反射特性，并且通常在形状和/或尺寸上具有相似性。此外，这些物体的一个独特特征是它们中的一些是其他物体的一部分。例如，对象7和对象8由对象6构成，对象9由3个对象10相互堆叠而成，而对象17和18的中心部分与对象13几乎相同。具有相似特性的物体在工业环境中很常见。

数据集包括用三组传感器捕捉的训练和测试图像，即结构光RGB-D传感器Primesense Carmine 1.09、飞行时间RGB-D传感器Microsoft Kinect v2和RGB摄像头Canon IXUS 950 IS。这些传感器是时间同步的，有着相似的视角。所有的图像都是通过一个自动程序从一个视球系统地采样图像得到的，结果是每个传感器得到约39K的训练图像和约10K的测试图像。训练图像用黑色背景孤立地描述物体，而测试图像则来自20个任意排列物体的桌面场景。测试场景的复杂程度各不相同，从具有多个孤立对象和干净背景的场景到具有多个对象实例且具有大量遮挡和杂波的非常具有挑战性的场景。此外，数据集包含每个对象的两种三维网格模型；一种是在CAD软件中手动创建的，另一种是从训练的RGB-D图像中半自动重建的。训练和测试图像中所有模型对象的出现都用精确的地面真实6D姿态进行了注释；它们的定性评估见图1，4.1节进行了定量评估。
在这里插入图片描述

数据集用于评估6D对象姿势估计问题[23]和其他相关问题的各种类型，例如2D对象检测[50，22]和对象分割[49，17]。由于有三个传感器的图像可用，我们还可以研究不同输入模式对给定问题的重要性。另一个选择是使用训练图像来评估三维物体重建方法[44]，其中提供的CAD模型可以作为地面真实情况。

我们设计T-LESS的目标是提供一个实质性但可管理的数据集，具有精确到传感器分辨率水平的严格和完整的地面真实性注释，并具有显著的复杂性可变性，因此它将提供不同程度的难度和合理的未来证明，也就是.可解决性，但目前最先进的方法无法解决。Hodan等人提出的6D目标姿态估计方法的性能相对较低，说明了数据集在6D目标姿态估计中的困难。在Hinterstoisser等人建立的数据集上，该方法的性能接近最新水平。

论文的其余部分安排如下。第2节回顾相关数据集，第3节描述了T-LESS数据集的获取和后处理的技术细节。4评估真实姿态的准确性，并提供初步评估结果，以及5.总结全文。