ForceVLA：通过力感知MoE增强接触丰富操作的VLA模型

点击下方卡片，关注“具身智能之心”公众号

作者丨Jiawen Yu等

编辑丨具身智能之心

本文只做学术分享，如有侵权，联系删文

---

>>点击进入→具身智能之心技术交流群

更多干货，欢迎加入国内首个具身智能全栈学习社区：具身智能之心知识星球(戳我)，这里包含所有你想要的。

研究背景与问题提出

在机器人操作领域，视觉-语言-动作（VLA）模型通过利用预训练的视觉和语言表示，推动了通用机器人操作的发展。然而，这些模型在处理需要涉及力的精细控制的接触丰富任务时，尤其是在视觉遮挡或动态不确定性情况下，表现出明显的局限性。现有的VLA模型严重依赖视觉和语言线索，往往忽略了力传感这一对于精确物理交互至关重要的模态。

人类在操作过程中会自然地整合触觉和本体感受反馈来调整操作策略，但当前的VLA模型在面对插入、工具使用或装配等任务时，经常在遮挡或视觉条件较差的情况下表现不佳，导致行为脆弱或任务失败。此外，不同任务阶段对力的要求也不同，如精细抓取、受控插入和顺应性表面接触等，每个阶段都需要不同形式的力调制，而现有方法缺乏感知和适应这些动态变化的机制。

核心创新点

（一）ForceVLA框架

ForceVLA是一种新颖的端到端操作框架，将外部力传感作为VLA系统中的一等模态。其核心在于引入了FVLMoE（力感知混合专家）融合模块，该模块在动作解码过程中动态地将预训练的视觉-语言嵌入与实时6轴力反馈集成，使机器人能够适应微妙的接触动态。

（二）FVLMoE模块

FVLMoE是一个力感知的混合专家融合模块，能够跨模态特定专家进行上下文感知路由。它通过门控机制计算专家子网络的动态路由权重，每个专家子网络专门处理任务执行阶段的不同模态，实现了力、视觉和语言特征的动态处理和深度集成，显著增强了VLA系统的物理交互能力。

（三）ForceVLA-Data数据集

研究团队构建了一个全新的数据集ForceVLA-Data，包含五个接触丰富操作任务的同步视觉、本体感受和力-扭矩信号。该数据集为训练和评估力感知操作策略提供了丰富的多模态数据支持，并承诺开源所有资源以促进社区研究。

方法细节

（一）ForceVLA整体架构

ForceVLA基于π₀框架构建，集成了视觉、语言、本体感受和6轴力反馈，通过条件流匹配模型生成动作。视觉输入和任务指令由基于SigLIP的视觉-语言模型编码为context embedding，这些embedding与本体感受和力线索结合，调节迭代去噪过程以预测动作轨迹。

（二）FVLMoE模块设计

多模态输入映射：力特征在视觉-语言模型处理完视觉和语言输入后作为独立输入引入FVLMoE模块。原始6轴力-扭矩传感器数据通过线性投影转换为力token embedding，与视觉-语言特征连接后输入模块。

多模态路由与融合计算：输入序列经过编码器层处理后进入稀疏混合专家层，动态门控网络根据学习的调度权重为每个token选择最合适的专家，输出通过残差连接与输入集成，得到融合的多模态特征。

融合特征注入动作流头：FVLMoE生成的融合特征作为指导信号，与机器人状态和噪声动作轨迹处理得到的后缀特征结合，直接调节生成的动作序列。

（三）数据集构建

数据采集使用Flexiv Rizon 7-DOF机械臂，配备Dahuan自适应夹具和两个RGB-D摄像头（静态第三人称视角和腕部安装摄像头）。通过Quest3 VR界面进行人类遥操作，五位专家操作员完成了五个接触丰富任务：瓶子按压、插头插入、USB驱动器插入、白板擦拭和黄瓜削皮，共收集了244条轨迹和14万个同步时间步。

实验与结果

（一）实验设置

评估在五个接触丰富操作任务上进行：瓶子按压、插头插入、USB驱动器插入、白板擦拭和黄瓜削皮。每个任务设计了不同的物理挑战，如精确对齐、力控制插入、表面接触等。使用任务成功率作为主要评估指标，同时针对黄瓜削皮等任务还报告了平均削皮长度和最小削皮次数等指标。

（二）主要实验结果

1. 整体性能：ForceVLA在所有五个任务上的平均成功率为60.5%，显著优于不使用力反馈的π₀-base模型（37.3%），提升了23.2%。在黄瓜削皮任务中，ForceVLA的平均削皮长度达到14.12厘米，仅需7次 strokes即可完成，表现出优异的精细操作能力。

2. 力融合的有效性：将原始力信号引入π₀-base模型可将性能从37.3%提升至40.2%，但ForceVLA通过FVLMoE模块实现的有效融合将成功率提升至60.5%，证明了融合机制的重要性。

3. 模型泛化能力：在对象变化、高度变化、视觉遮挡和不稳定插座等五种具有挑战性的实验条件下，ForceVLA表现出卓越的泛化能力，平均成功率达到63.78%，尤其在视觉遮挡场景下成功率高达90%，体现了其对多模态反馈的依赖。

（三）消融研究

实验比较了早期融合、晚期融合和ForceVLA提出的融合策略。早期融合方法（如在VLM前注入力数据）显著降低了性能，而晚期融合方法（在VLM后连接力特征）将成功率提高到60%，ForceVLA通过FVLMoE模块实现的自适应融合达到了80%的成功率，验证了力应在VLM编码后引入并通过复杂融合机制利用的设计原则。

（四）多任务评估

在多任务联合训练中，ForceVLA表现出卓越的多任务能力，平均成功率达到67.5%，在瓶子按压和白板擦拭任务中获得80%的成功率，在插头插入任务中达到100%的成功率，证明了其在共享策略中利用多模态线索的能力。

参考

[1] ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation