论文阅读笔记——VidMan: Exploiting Implicit Dynamics from Video Diffusion Model for Effective Robot Manipula

2411.09153

VidMan 使用两阶段训练，第一阶段（VDT）将视频、轨迹、语音作为输入，意在从视频中学习时序动态数据，第二阶段利用第一阶段训练的，进行 adapt，从之前学习到的动态捕捉能力输出 action。

Tips：在作为第一阶段的输入时，把 history images 和 future images 作为token，history images 作为条件，future 留空，和视频 token 进行 concatenate。
如果把先前所述 VDT 和逆动力学模型结合，即构建一个图像预测到动作的逆动力学模型，同样可以观测动作。

但是 VDT 迭代去噪过程很慢，而且图像中很多像素对于动作预测冗余。
故而选择，固定扩散步骤 k <- K，直接使用高斯噪声，并优化 VDT 每一层加入 adapter：
$$V_{\mathrm{action}}={ϵ}_{(\theta ,{\varphi }_{\mathrm{ada}})}(V_c^K,y,K,Q_{\mathrm{action}})$$
最终通过 Diffusion-based Action Head 将高斯噪声解码成动作信号。
$${\mathcal{L}}_a(\theta ,{\varphi }_{\mathrm{ada}},{\varphi }_{\mathrm{dec}})={\mathbb{E}}_{(V_{\mathrm{action}},l)}\left[{\Vert {ϵ}^{\prime }-{\pi }_{{\varphi }_{\mathrm{dec}}}\left(\epsilon (V_{\mathrm{action}},{ϵ}^{\prime },l),l\right)\Vert }_2^2\right]$$

实验结果

• 在 CALVIN 基准测试中，VidMan 相对于 SOTA 基线模型 GR-1 实现了 11.7% 的相对改进。
• 在 OXE 小规模数据集 上，VidMan 展示了超过 9% 的精度提升，尤其是在目标机器人数据较少的情况下表现突出。