Open X-Embodiment Robotic Learning Datasets and RT-X Models

原创 已于 2024-04-30 15:31:11 修改 · 824 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器人 #dataset #RT-X

于 2023-10-05 15:21:58 首次发布
DeepMind推出Open X-Embodiment数据集，包含22种不同机器人类型的数据，用以训练更强大的RT-X模型。RT-X在多种机器人上表现出色，平均成功率提升50%，并且在现实世界技能学习中效果翻倍。数据集和RT-1-X模型已开放给研究社区。

文章目录

在这里插入图片描述

简介

为什么机器人技术远远落后于 NLP、视觉和其他 AI 领域？除其他困难外，数据短缺是罪魁祸首。谷歌 DeepMind 联合其他机构推出了 Open X-Embodiment 数据集，并训练出了能力更强的 RT-X 模型。

在这里插入图片描述

在这里插入图片描述

DeepMind 在过去一段时间汇集了来自 22 种不同机器人类型的数据，以创建 Open X-Embodiment 数据集，然后在之前的模型（RT-1 和 RT-2）的基础上，训练出了能力更强的 RT-X（分别为 RT-1-X 和 RT-2-X）。

他们在五个不同的研究实验室测试了 RT-1-X 模型，结果显示，与针对每个机器人独立开发的方法相比，新方法在五种不同的常用机器人中平均成功率提高了 50%。他们还表明，在上述数据集上训练的 RT-2-X 在现实世界机器人技能上的表现提高了 2 倍，而且，通过学习新数据，RT-2-X 掌握了很多新技能。这项工作表明，在来自多个机器人类型数据上训练的单个模型比在来自单个机器人类型数据上训练的模型在多个机器人上的性能要好得多。

目前，Open X-Embodiment 数据集和 RT-1-X 模型检查点已经对广泛的研究社区开放。

论文链接

最低0.47元/天 解锁文章
Franka最多机器人数据集！最大开源DeepMind联手21家机构，整合60个数据集，发布Open X-Embodiment
强化学习曾小健
11-11 1315
还表明，它们比在特定领域训练的模型有所改进，并表现出更好的泛化能力和新功能。BC-Z 数据集由谷歌、Everyday Robots、加州大学伯克利分校和斯坦福大学共同发布，这个大规模机器人学习数据集旨在推动机器人模仿学习领域的发展，尤其是支持零样本任务泛化，即让机器人在没有先前经验的情况下，通过模仿学习来执行新的操作任务。覆盖各种环境和机器人变化，目前已面向研究社区开放，为了便于用户下载和使用，研究人员将不同来源的数据集转换为了统一的数据格式，未来，他们计划与机器人学习社区合作，共同促进该数据集的增长。
【论文翻译】Open X-Embodiment: Robotic Learning Datasets and RT-X Models
weixin_47435705的博客
12-01 1659
备注：本人刚开始了解LLM+Robotics，很多相关专业知识还未深入学习，后期会对该翻译进行优化，并添加个人理解，非常。
Open X-Embodiment: Robotic Learning Datasets and RT-X Models
CHONGjjj的博客
10-10 935
通常在大型和多样化的数据集上训练的大规模通用模型往往能够超过在较小但更多任务特定的数据上训练的狭义通用模型。通用策略很难应用于机器人领域：机器人操作是物理交互、图像、语言等复杂领域的融合；交互数据收集由于硬件成本和采集效率低下难以构建超大型数据集；过去，由于各个数据集的环境、任务设置、机器人类别的不同，没有提出有效的数据联合方法弥补单个数据集过于狭隘的缺陷，本文的主要贡献就在于提出了相关的解决方案。不同机器人的观察空间和动作空间存在显著差异。
如何快速上手 Open X-Embodiment：机器人学习的终极开源数据集与模型指南
最新发布
gitblog_01104的博客
10-28 923
Open X-Embodiment 是由 Google DeepMind 开发的开源项目，旨在提供统一格式的机器人学习数据集，加速机器人技术研究与开发。通过该项目，开发者和研究人员可轻松访问标准化的机器人数据，训练和评估智能机器人模型。 ## ???? 项目核心价值：为什么选择 Open X-Embodiment？ Open X-Embodiment 解决了机器人学习领域数据格式不统一的痛点，将所...
机器人迎来ImageNet时刻！谷歌等新作Open X-Embodiment：机器人学习数据集和 RT-X 模型...
阿木寺的博客
10-04 912
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【机器人和Transformer】交流群在CVer微信公众号后台回复：RT数据集，可以下载本论文pdf、代码和数据集，学起来！转载自：机器之心 | 编辑：张倩、陈萍为什么机器人技术远远落后于 NLP、视觉和其他 AI 领域？除其他困难外，数据短缺是罪魁祸首。谷歌 DeepMind 联合其他机构推出了 Open X...
Open X-Embodiment Dataset：迄今为止最大的开源真实机器人数据集,包含超过1百万真实机器人轨迹的大规模数据集，覆盖了来自全球多个研究机构的22个不同机器人平台。
u011559552的博客
12-04 2399
2024-06-01,由谷歌 DeepMind 联手斯坦福大学等机构联合推出Open X-Embodiment Dataset。这是迄今为止最大的开源真实机器人数据集。它包含 100 多万条真实机器人轨迹，涵盖 22 个机器人实例，从单臂机器人到双手机器人和四足机器人。为机器人学习领域提供了一个全新的、大规模的、多平台的数据资源，有助于推动机器人政策的泛化和跨平台的学习能力。
Open X-Embodiment Robotic Learning Datasets and RT-X Models.pdf
09-23
在这篇由Google DeepMind团队撰写的论文中，他们提出了Open X-Embodiment数据集和基于此数据集训练的RT-X智能模型。Open X-Embodiment数据集的创新之处在于其规模和多样性。该数据集不仅囊括了视觉、触觉和运动数据...
【论文翻译】Open X-Embodiment: Robotic Learning Datasets and RT-X Models【未完待续】
溯源的专栏
10-09 715
在不同数据集上训练的大型高容量模型在有效处理下游应用程序方面取得了显著成功。在从NLP到计算机视觉的领域，这导致了预训练模型的整合，一般的预训练backbones作为许多应用程序的起点。这样的整合会发生在机器人领域吗？传统上，机器人学习方法为每个应用程序、每个机器人甚至每个环境训练一个单独的模型。我们是否可以训练“通才”X机器人策略，使其能够有效地适应新的机器人，任务和环境？在本文中，我们提供了标准化数据格式和模型的数据集，以便在机器人操作的背景下探索这种可能性，以及提供有效X机器人策略示例的实验结果。
[EAI-007] 具身智能经典工作 RT-X，首个大规模具身数据集OXE训练的VLA模型
全性保真，不以物累形。
12-19 2478
汇集了 21 家机构合作收集的 22 种不同机器人的数据集，展示了 527 种技能（160266 项任务）
Open X-Embodiment数据集下载及数据解析（可视化成视频及对应的instruction）
wangyin233的博客
11-20 4155
Open X-Embodiment数据集是一个大型机器人学习数据集集合，包含来自多个研究机构的50多个子数据集，总数据量达数TB。数据存储在Google Cloud Storage中，可通过官方提供的Colab笔记本或gsutil工具下载。数据集涵盖多种机器人任务，如操作、导航、装配等，每个子数据集都有明确的大小标注（从几MB到近800GB不等）。用户可根据需求选择特定数据集下载到本地服务器。该数据集对机器人学习算法的开发和评估具有重要价值。
深度剖析全球最大开源机器人数据集：Open X-Embodiment
05-07 1438
实验旨在探究X-具身训练（X-embodiment training） 效果的三个核心问题： 正向迁移能力验证：基于X-具身数据集训练的策略能否有效实现正向迁移？即通过多机器人数据联合训练（co-training） 是否可以实现正向迁移，从而提升目标任务性能？ 泛化能力验证：在多平台、多任务数据上的联合训练是否能提升模型对未见任务（unseen tasks） 的泛化能力？ 不同设计维度影响分析：模型规模、架构或数据构成等设计维度（design dimensions） 对策略性能及泛化能力有何影响？
Open X-Embodiment数据可视化代码及分析
10-08
内容概要：Open X-Embodiment数据集是用于具身智能训练的最新数据集，包含100多万条来自22个不同机器人平台的实机轨迹数据，汇集了全球34个机器人研究实验室的60个现有数据集，对于具身智能模型训练具有重要意义。 适合人群：从事人工智能领域具身智能相关研究人员。 能学到什么：①Open X-Embodiment数据的可视化；②Open X-Embodiment数据可视化代码原理。 阅读建议：①结合原文献进行阅读；②结合数据集进行分析；③手动尝试操作、编写。
最大开源机器人数据集！DeepMind联手21家机构，整合60个数据集，发布Open X-Embodiment，具身智能时代来临
HyperAI超神经
10-25 2573
为具身智能发展按下加速键
【亲测免费】 推荐开源项目：Open X-Embodiment —— 统一格式机器人数据集与RT-X模型
gitblog_00404的博客
10-10 1250
Open X-Embodiment 是一个旨在提供统一格式的开源机器人数据集项目，旨在简化下游应用的消费过程。该项目由DeepMind Technologies Limited开发，并在Apache 2.0和CC-BY双重许可下发布，确保了其开放性和可复用性。 项目的首次公开发表文献为《Open X-Embodiment: Robotic Learning Datasets and RT-X M...
**探索未来机器人学习：Open X-Embodiment，您的智能伙伴**
gitblog_00089的博客
06-20 704
![Teaser Image](./imgs/teaser.png) 在科技的日新月异中，机器人的智能化与自主性正在以前所未有的速度进化。作为这一领域的重要推动者之一，**Open X-Embodiment（OXE）**项目应运而生，旨在为全球研究者提供统一且开放的数据集资源库，促进机器人学习的革新与发展。 ## **项目介绍：构建智慧桥梁** Open X-Embodiment聚焦于整合各类...
【Open X-Embodiment】简单数据下载与预处理
三木今天学习了嘛の博客
02-23 1339
下载的流程
机器人学习数据集Open X-Embodiment及其RT- X模型
yorkhunter的博客
07-07 1672
23年10月来自包括谷歌research和deep mind，共十几家美国、欧洲和亚洲的大学的论文“Open X-Embodiment: Robotic Learning Datasets and RT-X Models”。
Open X-Embodiment 超大规模开源真实机器人数据集分享
OpenDataLab的博客
11-14 8214
近期，Google旗下的前沿人工智能企业DeepMind汇集了来自 22 种不同机器人类型的数据，创建了 Open X-Embodiment 数据集并开源了出来。该数据集让他们研发的RT-2 机器人在制造和编程方式上有了重大飞跃。有分析称，在上述数据集上训练的 RT-2-X 在现实世界机器人技能上的表现提高了 2 倍，而且通过学习新数据RT-2-X 掌握了很多新技能。英伟达高级人工智能科学家Jim Fan甚至公开表示，这个数据集可能是机器人的ImageNet时刻。
Open X-Embodiment 数据格式制作
06-26
Open X-Embodiment 数据格式是一种用于机器人学习任务的数据集格式，旨在支持跨平台、跨机器人的数据共享与模型训练。该格式通常包含多模态数据，如视觉观测（图像）、动作指令（action）、状态信息（state）、历史交互记录等，以便于构建通用的具身智能策略。 以下是如何创建或制作 Open X-Embodiment 数据格式的基本指南： ### 1. 理解数据结构 Open X-Embodiment 数据格式通常以 JSON 或 HDF5 格式组织，每个样本（step）包括时间戳、观测值、动作、奖励、是否结束等字段。其核心结构如下所示： ```json { "timestamp": 1234567890, "observation": { "image": "base64_encoded_image_string", "state": [x, y, z, ...], "language_instruction": "pick up the red cup" }, "action": [a1, a2, a3, ...], "reward": 0.5, "is_terminal": false } ``` 其中： - `observation.image` 是摄像头采集的图像，通常使用 base64 编码存储； - `observation.state` 是机器人本体传感器的状态，例如关节角度、末端位置等； - `observation.language_instruction` 是语言形式的任务指令； - `action` 是执行的动作向量，可能包括机械臂各关节的速度或位置控制； - `reward` 是环境反馈的即时奖励； - `is_terminal` 表示当前步骤是否为回合结束。 ### 2. 收集和标注数据 为了构建一个高质量的 Open X-Embodiment 数据集，需要进行以下步骤： - **录制演示**：通过遥控器、键盘或专家操作的方式收集机器人完成特定任务的演示数据。 - **同步多模态输入**：确保图像、状态、动作、语言指令等信号在时间上对齐。 - **添加语言指令**：每段轨迹应附带一条自然语言描述的任务指令，便于后续的 VLA（Vision-Language-Action）建模。 - **标注关键帧**：可选地标注任务中的关键帧或子目标，以增强策略的学习能力。 ### 3. 使用标准工具链 目前已有多个开源项目支持 Open X-Embodiment 数据格式的生成和处理，包括： - **RLDS（Reinforcement Learning Datasets）库**：由 Google 提供，可用于构建、转换和读取强化学习数据集[^1]。 - **RT-1 和 RT-2 的数据管道**：Google 的机器人策略训练框架提供了将原始机器人交互日志转换为标准格式的代码示例[^2]。 - **Docker 容器化处理流程**：利用容器技术打包数据预处理脚本，确保在不同环境中一致性。 ### 4. 数据集组织方式 通常一个完整的 Open X-Embodiment 数据集目录结构如下： ``` dataset/ ├── train/ │ ├── episode_00000.hdf5 │ ├── episode_00001.hdf5 │ └── ... ├── val/ │ ├── episode_00000.hdf5 │ └── ... ├── metadata.json └── README.md ``` 其中： - 每个 `.hdf5` 文件对应一段轨迹； - `metadata.json` 包含数据集版本、作者、许可协议等元信息； - `README.md` 描述数据集内容、采集方法及使用说明。 ### 5. 示例代码：生成单条轨迹 以下是一个 Python 示例，展示如何将图像、状态和动作写入 HDF5 文件： ```python import h5py import numpy as np from PIL import Image import io import base64 # 创建 HDF5 文件 with h5py.File('episode_00000.hdf5', 'w') as f: # 创建组 step = f.create_group("step_0") # 图像数据（模拟） img = np.random.randint(0, 255, (256, 256, 3), dtype=np.uint8) pil_img = Image.fromarray(img) buffer = io.BytesIO() pil_img.save(buffer, format="JPEG") encoded_img = base64.b64encode(buffer.getvalue()).decode("utf-8") # 写入观测数据 step.create_dataset("observation/image", data=encoded_img) step.create_dataset("observation/state", data=[0.1, 0.2, 0.3]) step.create_dataset("observation/language_instruction", data="Move to the left.") # 动作与奖励 step.create_dataset("action", data=[0.5, -0.5, 0.0]) step.create_dataset("reward", data=0.8) step.create_dataset("is_terminal", data=False) ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猛码Memmat

欢迎支持，随缘打赏 ~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值