SPATIAL FORCING: IMPLICIT SPATIAL REPRESENTATION ALIGNMENT FOR VISION-LANGUAGE-ACTION MODEL

文章核心是提出空间强制（Spatial Forcing, SF）策略，解决传统VLA模型依赖2D数据导致3D空间感知不足的问题，无需额外3D传感器或深度估计器，仅通过对齐VLA中间视觉嵌入与预训练3D基础模型的几何表示，就能提升模型性能、训练效率和数据效率。

一、文章主要内容总结

1. 研究背景与问题

• 现有VLA模型局限：多数VLA基于仅在2D数据上预训练的视觉语言模型（VLM）构建，缺乏精准3D空间感知，难以适应物理世界操作。
• 现有解决方案缺陷：
  • 直接引入深度图、点云等3D传感器输入：受传感器噪声、硬件异质性、数据集深度信息缺失影响，通用性差。
  • 从2D图像估计3D信息：性能受限于深度估计器的精度，效果欠佳。

2. 核心方法：空间强制（SF）

• 核心思路：无需显式3D输入，通过“表示对齐”隐式提升VLA的3D空间理解能力。
• 具体操作：
  1. 输入机器人多视角图像到预训练3D基础模型（VGGT），生成含丰富空间信息的几何表示。