T-Rex——给VLA带上触觉的灵巧操作框架:先通过人类视频做预训练,再通过富含触觉的中期训练对齐交互,最后利用极少量目标域演示以快速适配下游任务
如原论文所说,人类的灵巧操作不仅依赖视觉,感知和快速响应细粒度触觉信号的能力。诸如将一张薄卡片滑入卡槽、或用钥匙开锁等日常任务,对人类而言不费吹灰之力,但对当前的机器人学习策略来说仍然充满挑战要掌握这类任务,需要具备触觉-反应行为:即对触觉信号作出即时的闭环运动响应,其速度远快于传统基于视觉的控制回路所能达到的水平然而,将现有的视觉-语言-行动(Vision-Language-Action, VLA)模型适配到依赖触觉反馈的操作任务,面临两大挑战。



