
全明星阵容齐聚具身智能
据悉,具身智能学术圈迎来了一次全明星阵营聚会。其中包括ImageNet奠基人、美国三院院士李飞飞;伯克利BAIR联合创始人Trevor Darrell,其Caffe深度学习框架曾是计算机视觉领域最广泛使用的平台之一;R - CNN的核心贡献者之一、美国三院院士Jitendra Malik;深度强化学习先驱、伯克利机器人学习实验室主任及BAIR实验室联合主任、ACM计算奖得主Pieter Abbeel;机器人学泰斗、30年前就深耕机器人抓取和自动化的IEEE会士Ken Goldberg;英伟达GEAR实验室掌舵者、具身智能领域最受瞩目的年轻学者之一Jim Fan。这些在模型、算力、本体、数据等各自细分赛道上如雷贯耳的知名人士,齐聚具身智能领域,关注点却是灵巧手。
灵巧手面临的问题与触觉加入的困境
自动驾驶靠纯视觉有可能解决问题,但机器人尤其是灵巧手却很难。因为手指、手掌进行精密复杂操作时,很难只用摄像头记录运动数据,不仅360°无死角的视频数据量庞大,机位布置也存在困难,且不同任务类别很难形成标准化数据集,导致模型泛化性受限。因此,给模型加入触觉这个数据模态,成为了提高感知精度、操作精准细腻以及形成较为标准数据集的方法。然而,T - Rex团队把触觉力信号直接拼接到一个预训练好的VLA模型里,任务成功率却从17%掉到了6%。论文将原因拆成三层:一是数据太贵,现有的大规模机器人数据集主要面向平行夹爪,而灵巧手遥操作成本是平行夹爪的5到10倍;二是频率对不上,视觉模型处理图像频率低,而触觉反应需要高频,两种信号塞进同一个低频Transformer,视觉和触觉都无法及时响应;三是表征太浅,很多方法把触觉当成静态数字,而触觉本质是时序信号。
T - Rex的解决方案与成效
T - Rex团队在解决这些问题上取得了显著成效。在12项真实世界的灵巧操作任务上,T - Rex平均成功率达到65%,比最强纯视觉基线的35%高出了30个百分点。如翻书页任务中成功率达到96%,远高于纯视觉方案的68%;开锁任务中成功率为70%,而纯视觉方案为0%。消融实验显示,拿掉T - Rex的触觉输入,成功率从65%掉到42%,说明超过三分之一的有效操作纯靠“手感”。数据效率方面,仅给10条微调演示时,经过中期训练的T - Rex能达到约40%成功率,而没经过中期训练的模型成功率为零,表明模型真正理解了动作的通用手感。
T - Rex的核心架构与关键设计
T - Rex的核心思路是给触觉单独开一条高速通路。其整体架构为Mixture - of - Transformer - Experts,三个专家分工明确。Latent Expert处理视觉和语言,预测未来的视觉表征;Action Expert做低频动作规划,参数量1.41B;Tactile Expert做高频触觉精修,参数量只有0.62B。关键机制是Cascaded Flow Matching,扩散去噪在第4步处将任务拆分,前6步由Action Expert完成,后4步由Tactile Expert接手。触觉信号编码方面,T - Rex用VQ - VAE把过去16帧(约0.5秒)的力历史压缩成64个离散码字,过滤掉传感器漂移,使触觉信号可解释。此外,还有两个工程细节,一是让码本“活起来”,避免码本坍塌;二是给“有手感”的时刻更高权重,让模型把算力集中在关键接触点上。
T - Rex的训练策略
T - Rex采用三阶段训练策略。先在大规模人类视频上预训练22,889小时,让模型看懂“人是怎么动的”;再用100小时遥操作数据做中期训练,覆盖207种物体和22种动作基元,解决人类视频知识迁移到机器人本体的问题;最后用约100条任务演示做后训练,快速适配特定需求。其中中期训练最为核心,它填补了人手和机械手操作方式的鸿沟,让模型理解不同动作在不同物体上的执行方式。
灵巧手赛道的争论与T - Rex的价值
灵巧手赛道目前的争论集中在关节运动形式和自由度数量上,如腱绳还是连杆、丝杠还是齿轮、11个自由度还是27个等,但学术前沿的核心关注在于算法能否用好硬件。传统大模型范式以视觉数据为主,无法有效利用触觉模态。T - Rex团队的探索价值在于跳出硬件参数争论,回到更根本的问题,即灵巧手做精细操作需要什么数据,并给出了能泛化的方案。其研究得以完成的关键前提是Sharpa Wave提供的硬件基础,同时其算法探索也给硬件提出了新要求。
T - Rex带来的变化与贡献
T - Rex的软件和SHARPA的硬件探索方向可能会给灵巧手细分领域带来深刻变化。首先,灵巧手可能从具身智能本体中分化出来成为独立赛道,若触觉数据成为核心壁垒,灵巧手将成为感知 - 决策 - 执行链条中数据价值最高的一环。其次,更多专用场景的具身应用可能被启发,T - Rex证明了在具体垂直场景里,用专用的数据模态、架构设计和数据收集策略可以取得比“通用”方案更好的效果。T - Rex的贡献在于把现有工具组合成可用的系统方案,试图建立具身智能触觉数据统一的采集、训练范式,推动灵巧手真正发展起来。
作者简介
牛丹彤是UC Berkeley PhD Candidate,NVIDIA Gear Lab实习生,导师是Trevor Darrell,主要从事具身灵巧手大模型的研究,曾以第一作者或共同第一作者身份在CVPR、ICML、ICLR等国际顶级会议上发表论文8篇,领导或主要贡献T - Rex、EgoScale等工作,目前谷歌学术引用1100 +。刘卓洋是北京大学元培学院本科生,导师仉尚航,目前在UC Berkeley访问,导师Trevor Darrell,主要从事具身多模态推理大模型方向的研究,曾以第一作者或共同第一作者身份在ICML、ICLR、NeurIPS、ICRA等国际顶级会议上发表论文6篇,其他参与论文共计15篇,目前谷歌学术引用400余次,还曾获2026商汤奖学金(全国30人)、2025北京大学学术新星提名、北京大学元培学院年度科研奖励、北京大学新生奖学金等。Trevor Darrell教授最广为人知的成果是开发了Caffe深度学习库,该库在深度学习领域具有重要地位,推动了深度学习技术的发展。他现在是加州大学伯克利分校Berkeley DeepDrive研究中心的主任,同时担任伯克利EECS系计算机科学分部的教职,并受聘于加州大学附属的国际计算机科学研究所(ICSI),研究方向涵盖大规模感知学习算法及多模态交互等多种场景,研究兴趣包括计算机视觉、机器学习、计算机图形学以及基于感知的人机交互界面。
31



被折叠的 条评论
为什么被折叠?



