论文阅读笔记——π0: A Vision-Language-Action Flow Model for General Robot Control

π0 论文

${\pi }_0$ 是基于预训练的 VLM 模型增加了 action expert ，并结合了 flow matching 方法训练的自回归模型，能够直接输出模型的 action chunk（50）。

• π0 采用 Flow Matching 技术来建模连续动作的分布，这一创新使模型能够精确控制高频率的灵巧操作任务，同时具备处理多模态数据的能力。
• 架构受到 Transfusion 的启发 ：通过单一 Transformer 处理多目标任务，其中连续输出由流匹配损失监督，离散输出则由交叉熵损失监督。π0 在此基础上进行了针对性优化，特别为机器人领域的动作和状态 tokens 设计了一组独立的动作专家（Transformer）模块。
• 在推理阶段，π0 采用了高效的执行策略：新增的动作专家模块需要进行 10 次 flow matching 去噪迭代，而基础视觉语言模型（PaliGemma）仅需执行一次前向传播即可生成输出。
  输入：
• PaliGemma 接受的图像 $[I_t^1，\dots \dots ，I_t^n]$ 和语言指令 $l_t$。
• 输入噪声 $A_t=[a_t,a_{t+1},\dots \dots ,a_{t+H-1}]$ 未来动作的 action chunk（50）。
• 自身状态 $q_t$