RDT-1B 论文
模型表达与泛化能力：由于双臂操作中动作空间维度是单臂空间的两倍，传统方法难以建模其多模态分布。
数据：双臂数据少且不同机器人的物理结构和动作空间差异（如关节数、运动范围）导致数据分布不一致，直接合并训练可能引发负迁移（negative transfer）。
负迁移是迁移学习（Transfer Learning）中的一种现象，指在将一个领域（或任务）的知识迁移到另一个领域（或任务）时，由于源域（source domain）和目标域（target domain）之间的差异过大或不匹配，导致迁移后的模型性能反而比不迁移时更差。
研究的是基于语言指令的双臂视觉操作。
给定一条语言指令 l \mathcal{l} l ，策略接受在时间 t ∈ N + t\in\mathbb{N}^+ t∈N+ 的观测 o t o_t ot，输出动作 a t a_t at。观测 o t : = X t − T i m g + 1 : t + 1 , z t , c o_t:={X_{t-T_{img}+1:t+1},z_t,c} ot:=Xt−Timg+1:t+1,zt,c 其中 X t − T i m g + 1 : t + 1 : = { X t − T i m g + 1 , … … , X t } X_{t-T_{img}+1:t+1}:=\{X_{t-T_{img}+1},……,X_t\} Xt−Timg+1:t+1:={ Xt−Timg+1,……,X
最低0.47元/天 解锁文章
扫一扫
1161
到【灌水乐园】发言
