论文阅读笔记——SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model

SpatialVLA 论文
将 VLA 赋予三维空间理解，面临两个问题：1）不同机械构型的观测数据缺乏三维对齐性（摄像头传感器不同且安装位置不同 -> 得到的三维空间不同）；2）异构机器人的自由度、运动控制等不同 -> 动作空间不同。SpatialVLA 通过 Ego3D 位置编码（基于自我中心相机坐标系）以及自适应动作网格统一各个机器人动作空间，通过自回归预测（chunk=4）。

Ego3D Position Encoding

先用 SigLIP 提取视觉-语言对齐的 2D 语义特征 $\mathbf{X}\in R^{d\times h\times w}$，然后采取 ZoeDepth 估计深度图 D，通过相机内参反投影 ${\pi }^{-1}$ 得到像素在 egocentric 坐标系中的 $\mathbf{P}\in R^{3\times h\times w}$，然后通过正弦函数与可学习的 MLP 得到最终位置编码：
$${\mathbf{O}}_{3d}=\mathbf{X}+{\mathbf{P}}^{{}^{\prime }}=\mathbf{X}+MLP(\gamma (\mathbf{P}))$$

Adaptive Action Grids

对于单臂机器人，定义动作空间： a = { a t r a n s , a r o t , a g r i p } a=\{a_{trans},a_{rot},a_{grip}\} a={ atrans​,arot​,agrip​} 其中平移动作 a t r a n s = { x , y , z } = { ϕ