论文阅读笔记——RDT-1B: A DIFFUSION FOUNDATION MODEL FOR BIMANUAL MANIPULATION

RDT-1B 论文
模型表达与泛化能力：由于双臂操作中动作空间维度是单臂空间的两倍，传统方法难以建模其多模态分布。
数据：双臂数据少且不同机器人的物理结构和动作空间差异（如关节数、运动范围）导致数据分布不一致，直接合并训练可能引发负迁移（negative transfer）。

负迁移是迁移学习（Transfer Learning）中的一种现象，指在将一个领域（或任务）的知识迁移到另一个领域（或任务）时，由于源域（source domain）和目标域（target domain）之间的差异过大或不匹配，导致迁移后的模型性能反而比不迁移时更差。

研究的是基于语言指令的双臂视觉操作。
给定一条语言指令 $l$ ，策略接受在时间 $t\in {\mathbb{N}}^{+}$ 的观测 $o_t$，输出动作 $a_t$。观测 $o_t:=X_{t-T_{img}+1:t+1},z_t,c$ 其中 X t − T i m g + 1 : t + 1 : = { X t − T i m g + 1 , … … , X t } X_{t-T_{img}+1:t+1}:=\{X_{t-T_{img}+1},……,X_t\} Xt−Timg​+1:t+1​:={ Xt−Timg​+1​,……,X