RDT-1B: A DIFFUSION FOUNDATION MODEL FORBIMANUAL MANIPULATION

最新推荐文章于 2025-06-14 22:22:37 发布
最新推荐文章于 2025-06-14 22:22:37 发布
阅读量1k 收藏 12
点赞数 23
CC 4.0 BY-SA版权
分类专栏： 具身智能文章 文章标签： 人工智能 深度学习 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/s_m_c/article/details/144374901

发表时间：arxiv Oct 2024

论文链接：ReadPaper

作者单位：Tsinghua University

Motivation：Bimanual manipulation is essential in robotics, yet developing foundation models is extremely challenging due to the inherent complexity of coordinating two robot arms (leading to multi-modal action distributions) and the scarcity of training data. （也是从数据稀缺的角度切入）

解决方法：RDT建立在扩散模型的基础上，有效地表示多模态，具有可扩展的Transformer的创新设计来处理多模态输入的异质性，并捕获机器人数据的非线性和高频。为了解决数据稀缺问题，我们进一步引入了一个物理可解释的统一动作空间，它可以统一各种机器人的动作表示，同时保留原始动作的物理含义，促进学习可转移的物理知识。

统一的动作空间是如何定义的？是如何促进学习可转移的物理知识的？

是一个256维度的向量。（为了进一步使在异构数据上训练 RDT，我们提出了物理可解释的统一动作空间，这是各种带有夹持器臂的机器人的统一动作格式。这种创新的格式减轻了不同机器人之间的潜在冲突，同时保留了原始动作的物理含义，这可以促进模型学习跨不同机器人数据集的可泛化物理知识。）

是当时发表的

最低0.47元/天 解锁文章

200万优质内容无限畅学
RDT-1B：双手操作机器人的扩散基础模型
yorkhunter的博客
10-24 3144
24年10月清华大学的论文"RDT-1B: A Diffusion Foundation Model for Bimanual Manipulation"。 双手操作在机器人技术中至关重要，但由于协调两个机械臂（导致多模态动作分布）的固有复杂性以及训练数据的稀缺性，开发基础模型极具挑战性。本文提出机器人扩散Transformer（RDT），一种用于双手操作的开创性扩散基础模型。RDT 以扩散模型为基础，有效地表示多模态，以可扩展的Transformer来处理多模态输入的异质性并捕获机器人数据的非线性和高频
在求之AIRBOT Play上微调+部署RDT-1B
无
12-30 1561
电机旋转正方向：从有插座一端到无插座一端为轴（存疑）查看连接的can设备查看连接的相机查看通信状态零点标定（键盘控制同步，m-导臂，n-从臂，mit-力控（阻抗控制）模式，否则为位置控制WARNING]执行命令后从臂将立即同步导臂的关节位置，确保两者接近，否则从臂会以未预期的高速运动。
VLA 论文精读（二十一）RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation
nenchoumi3119的博客
04-29 1068
这篇论文是2025年发表在arxiv上的一篇VLA领域论文，RDT也是做具身的一个必须了解的模型，和OpenVLA、$\pi0$ 这两个模型一样是基本功。
论文阅读:RDT-1B: A DIFFUSION FOUNDATION MODEL FOR BIMANUAL MANIPULATION
最新发布
yumu1890的博客
06-14 1139
双臂操作在机器人领域中至关重要，但由于协调两只机械臂本身具有高度复杂性（导致动作分布呈多模态），再加上训练数据的稀缺性，开发基础模型极具挑战性。在本文中，文章提出了机器人扩散变换器（Robotics Diffusion Transformer, RDT），这是首个专为双臂操作设计的扩散式基础模型。RDT 基于扩散模型，有效建模多模态特征，并通过创新设计的一种可扩展的 Transformer 结构，处理多模态输入的异质性，捕捉机器人数据中的非线性特性和高频变化。为了解决数据稀缺问题，文章进一步引入了。
[EAI-027] RDT-1B，目前最大的用于机器人双臂操作的机器人基础模型
全性保真，不以物累形。
01-30 1744
双臂操作由于协调两只机械臂的复杂性（导致多模态动作分布）以及训练数据的稀缺性，开发基础模型极具挑战性。本文提出了用于双臂操作的扩散基础模型 Robotics Diffusion Transformer (RDT)。 RDT 构建在扩散模型的基础上，有效地表征多模态动作分布，并创新性地设计了可扩展的Transformer来处理异质的多模态输入，以学习非线性和高频的机器人数据。
论文阅读笔记——RDT-1B: A DIFFUSION FOUNDATION MODEL FOR BIMANUAL MANIPULATION
Multiple_x的博客
04-05 1349
RDT-1B: A DIFFUSION FOUNDATION MODEL FOR BIMANUAL MANIPULATION 论文阅读笔记
具身智能多模态扩散模型RDT-1B数据集处理
weixin_43915081的博客
04-11 1340
Robotics Diffusion Transformer，简称 RDT，是一个基于扩散模型的多模态具身智能模型。本篇在上一篇的基础之上梳理一下模型训练和推理过程中，数据集的处理流程。RDT模型训练过程中输入数据中，有2个重要的数据就是state和action，对应上一篇架构图中的Zt​和at​，Zt在论文中英文名是proprioception，中文翻译过来是“本体感知”，就是一个128维的向量。每个维度的是什么含义参考上一篇文章。
rdt.rar_RDT-246在线播放_rdt277下载_在线播放
09-24
RDT-246和RDT277可能是该协议的不同版本或特定应用的标识符，而“在线播放”和“下载”则暗示了这些内容可能与多媒体流媒体服务有关。 描述中提到的“rm格式”是一种流媒体视频格式，由RealNetworks公司开发，常...
RDT.rar_RDT_RDT-ITD matlab_Thing Thing_rdt matlab
09-23
标题中的“RDT.rar_RDT_RDT-ITD matlab_Thing Thing_rdt matlab”暗示了这是一个与RDT（可能是“快速数据传输”或某种特定技术的缩写）相关的项目，涉及RDT-ITD（可能是一种改进或特定版本的RDT，强调在MATLAB环境中...
【2025具身智能大模型·系列10】RDT-1B：清华发布双臂机器人模型，零样本泛化能力震撼业界
寻道AI，探索AI无限可能！
04-07 2481
在机器人领域，双手机器人操控对于执行复杂任务至关重要，如家庭服务、工业生产等场景。然而，开发具备强大泛化能力的双手机器人操控基础模型面临诸多挑战，其中数据稀缺和架构设计难题尤为突出。由清华大学等机构研发的RDT-1B（Robotics Diffusion Transformer）模型应运而生，它创新性地采用扩散模型和可扩展的Transformer架构，致力于解决这些问题，为双手机器人操控带来了新的解决方案，在机器人领域引起广泛关注。
UMI——斯坦福刷盘机器人：通过手持夹爪革新数据收集方式，且使用视觉SLAM和Diffusion Policy预测动作
热门推荐
结构之法 算法之道
01-10 2万+
如下图所示a)具有不同类型动作表示的显式策略(b)隐式策略学习以动作和观察为条件的能量函数，并对最小化能量景观的动作进行优化(c)扩散策略通过学习的梯度场将噪声细化为动作。这种表述提供了稳定的训练，允许学习到的策略准确地建模为多模态动作分布，并容纳高维动作序列进一步，所谓扩散策略，是指将机器人的视觉运动策略表示为条件去噪扩散过程来生成机器人行为的新方法扩散策略学习动作-分布评分函数的梯度即该策略不是直接输出一个动作，而是以视觉观察为条件，对K次去噪迭代推断“动作-得分梯度”(
RoboticsDiffusionTransformer：引领机器人双臂操作的未来
gitblog_00660的博客
04-08 1055
RoboticsDiffusionTransformer：引领机器人双臂操作的未来 项目介绍 RoboticsDiffusionTransformer（RDT-1B）是一个革命性的机器人学习框架，它利用了扩散transformer技术，为双臂机器人操作提供了前所未有的灵活性和精确性。RDT-1B是一个参数量为1B的模型，这是迄今为止同类模型中最大的，它基于超过100万次的多机器人剧集进行预训练。该...
RDT——清华开源的双臂机器人“扩散动作大模型”(基于DiT改造而成)：先预训练后微调，支持语言、图像、动作多种输入
结构之法 算法之道
11-02 1万+
此外，在实践中，我们倾向于一次性预测一系列动作，即一个动作块，以促进时间一致性（Chi等，2023），并通过减少任务中的决策次数来缓解错误累积（Zhao等，2023）这可能导致分布外的动作，例如多个模式的算术平均值，这可能完全不可行（Pearce等，2023），相反，作者选择建模连续条件分布。幸运的是，对于作者的设置来说，这一缺点很小，因为。此外，值得强调的是，他们的目标是利用多机器人数据来增强模型在双手操作中的普适性，而不是开发用于各种机器人的跨实体模型。的维度比图像低得多，只需要最小的采样开销。
斯坦福大学最新！双臂机器人协同操作：更丝滑更可预测！
CV_Autobot的博客
10-26 3572
点击下方卡片，关注“具身智能之心”公众号在机器人领域，双手协同操作具有重要意义，但也面临诸多困难。双手操作需要高维连续控制以确保任务成功和操作精度，同时双手还需协作完成任务，避免相互干扰。机器人需要同时学习协调双手的运动，随着任务维度增加、非平稳动力学以及不对称协作等因素的影响，双手协同操作的难度进一步增大。此外，获取大量且有效的双手协同操作训练数据十分困难。现有的数据集往往侧重于单臂操作或简单的...
令人兴奋的突破：清华团队的机器人扩散模型将如何改变未来
haibo2144的博客
12-03 943
通过对超过100万次多机器人剧集的预训练，RDT-1B在理解和预测复杂的机器人动作方面展示了极高的能力，同时其代码、模型权重和数据集均以MIT开源许可发布，推动了研究社区的共享与发展。作为一个技术从业者，RDT-1B的发布让我看到了多模态模型在实际场景中的强大潜力。如果你和我一样，对未来机器人技术充满期待，那么不妨访问RDT-1B的项目页面，阅读论文或者下载代码库，亲自感受这一令人兴奋的技术突破。作为一个技术爱好者和实践者，我对RDT-1B感到由衷的兴奋，它的潜力将为机器人技术的未来铺平道路。
RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation
mikhailbran的博客
05-19 982
RDT-1B这里有个端侧模型,有很多创新点, 且主要是开源, 所以这里进行学习和探究。
具身智能多模态扩散模型RDT-1B前向推理详解
weixin_43915081的博客
04-03 1456
前一段时间写过关于openvla的文章，openvla是基于VLM的多模态模型，本质上基于成熟的大语言模型来预测action。本文的RDT-1B是另一种路线，是基于diffusion扩散模型，可以经过多步forward，不断的去噪，生成更加精细的action。关于RDT-1B的详细技术原理，已经有很多篇不错的文章了，本文也不再赘述，可以自行检索。RDT-1B代码其实并不复杂，但涉及的背景知识比较多，需要大家先了解扩散模型，扩散模型中的条件机制，还有一些概率论知识。
【论文笔记·RL】DMBP: Diffusion Model-Based Predictor for Robust Offline Reinforcement Learning
lokol.的秘密基地
07-05 850
Offline RL是通过在离线数据集上进行训练并不与环境进行交互。而其在真实世界应用的挑战来源于对状态观测干扰的鲁棒性，如传感器错误或对抗性攻击。与Online RL方法不同，Agent不能在Offline setting下进行对抗训练。在本文中，提出了Diffusion-Based预测器，使用条件扩散模型用于恢复真实状态，用于基于状态的RL任务。为了缓解误差累积问题，本文提出了一个非马尔可夫训练目标用于最小化去噪后状态的熵。
rdt-1b 部署
03-24
<think>好的，我现在需要处理用户关于如何部署rdt-1b的请求。首先，我需要确认rdt-1b是什么。用户可能指的是某个特定的软件或系统，但名称可能有拼写错误或缩写。我需要先进行一些背景调查。 查看用户提供的引用内容，发现引用了storageclass的kubectl命令和VMware vSAN的技术文档，以及RTSP协议的信息。这可能暗示rdt-1b可能与Kubernetes、存储类配置或流媒体协议有关。但rdt-1b这个名称并不常见，可能需要进一步验证。 接下来，我应该检查可能的拼写错误。例如，rdt-1b中的“rdt”可能代表Resource Director Technology（Intel的技术），但结合后面的“1b”不太清楚。或者，是否是某个开源项目或内部部署工具的名称？比如，可能用户想部署的是rdt（资源分配技术）相关的组件，但不确定。 考虑到用户提到了kubectl和storageclass，可能rdt-1b是Kubernetes中的一个自定义资源或部署配置。需要确认是否存在这样的资源。例如，检查Kubernetes的官方文档或社区资源，是否有rdt-1b相关的部署指南。 另外，用户提到的引用[3]涉及RTSP协议，可能与实时流媒体有关。但rdt-1b可能与实时数据传输有关？比如Real-time Data Transfer version 1b？但这也只是猜测。 由于信息有限，可能需要更多的上下文。但根据现有引用，尤其是引用[1]中的storageclass.yaml，推测用户可能是在Kubernetes环境中部署某个需要特定存储类的应用，比如rdt-1b。可能的步骤如下： 1. 确认rdt-1b的具体定义：是否是某个自定义的Kubernetes资源，或是一个需要特定存储类的应用程序。 2. 检查是否有官方的部署文档或GitHub仓库提供部署指南。 3. 配置StorageClass，使用kubectl apply -f命令创建相关资源。 4. 部署应用所需的Deployment、Service等组件。 5. 验证部署状态，确保Pod正常运行，存储正确挂载。 但可能存在的情况是，用户可能拼写错误，比如rdt-1b可能是rdb-1b，或者其他名称。或者rdt-1b是某个内部项目名称，公开资料较少。这时候需要建议用户确认名称的正确性，或者提供更多上下文。 因此，回答中需要指出当前信息不足，建议用户核实rdt-1b的具体含义，并根据可能的场景给出基于Kubernetes的通用部署步骤，同时提醒参考相关文档。</think>根据您提供的上下文，rdt-1b部署信息未在现有引用中明确提及。推测可能涉及以下两种技术场景： ### 场景一：Kubernetes环境部署 若rdt-1b是容器化应用，可采用以下通用步骤： 1. 创建存储类（参考引用[1]） ```yaml # storageclass.yaml示例 apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: rdt-storage provisioner: kubernetes.io/vsphere-volume ``` 执行命令： ```bash kubectl apply -f storageclass.yaml ``` 2. 编写Deployment配置关联存储类 ```yaml apiVersion: apps/v1 kind: Deployment metadata: name: rdt-1b spec: template: spec: volumes: - name: datastore persistentVolumeClaim: claimName: rdt-pvc ``` ### 场景二：vSAN存储集成 若涉及VMware vSAN（参考引用[2]）： 1. 配置存储策略时选择`对象重建优先级` 2. 启用`重同步合并`优化存储效率 ### 注意事项 1. RTSP协议配置（参考引用[3]）需检查端口554/TCP开放状态 2. 建议核实rdt-1b具体定义，可能是以下类型： - 实时数据传输协议扩展 - 资源分配技术实现模块 - 特定行业应用组件
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ming_Chs

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值