Open X-Embodiment 超大规模开源真实机器人数据集分享

近期，Google旗下的前沿人工智能企业DeepMind汇集了来自 22 种不同机器人类型的数据，创建了 Open X-Embodiment 数据集并开源了出来。该数据集让他们研发的RT-2 机器人在制造和编程方式上有了重大飞跃。

有分析称，在上述数据集上训练的 RT-2-X 在现实世界机器人技能上的表现提高了 2 倍，而且通过学习新数据RT-2-X 掌握了很多新技能。英伟达高级人工智能科学家Jim Fan甚至公开表示，这个数据集可能是机器人的ImageNet时刻。

谷歌开放了X-具身存储库（robotics-transformer-X.github.io）来存储Open X-Embodiment数据集。这是一个开源存储库，包括用于X-具身机器人学习研究的大规模数据以及预训练模型的检查点。

为助力具身机器人技术研究，提高数据准备效率，OpenDataLab（opendatalab.com）整理并上架了DeepMind公开的Open X-Embodiment数据集，欢迎大家下载与探索。

另外寻星计划正在火热进行中，上传原创数据集领好礼，点击参加→寻找最闪亮的 OpenDataLab 数据之星， We want you !

数据集概述

Open X-Embodiment子数据集信息列表：

https://docs.google.com/spreadsheets/d/1rPBD77tk60AEIGZrGSODwyyzs5FgCU9Uz3h-3_t2A9g/edit?pli=1#gid=0

关键词：

● 21个科研机构

● 22个机器人

● 60个已有数据集的融合

● 527个技能

● 160,266个任务

● 1,402,930条数据（共约3600G）

数据处理：

所有源数据集统一转化为RLDS格式。
对于源数据的不同格式和内容，做了以下处理：

1. 对于存在多视角的数据集，仅选择其中“canonical”的一个视角图像（猜测为比较接近top-down第一人称视角/Proprioception的那一个）。

2. 将图像resize到320×256(width×height)。

3. 将原有的动作（比如joint position）都转换为EE的动作，但是该动作量可能为相对值，也可能为绝对值。在模型输出action tokens∈ [0, 255]\in [0, 255]后根据不同的机器人做不同的de-normalization后再下达具体的控制指令。

数据集特征：

1. 60个数据集中涉及到的机器人有单臂、双臂和四足，Fra