HETUW的博客

本文提出FAST方法，基于DCT信号压缩将机器人连续动作序列高效编码为低频系数，显著缩短序列长度（如5个分量即达0.001误差），实现自回归模型在精细操作任务中首次媲美Pi0FM的精度，训练速度提升5倍。通过通用预训练Tokenizer复用语言模型优势，支持零样本语言跟随，且无需固定长度填充。虽推理较慢（30-50ms），但突破了传统量化导致的时序失真与训练瓶颈，实现“动作MP3压缩”式高效建模。

本文提出RECAP框架，首次实现大模型VLA在真实机器人长程任务中通过“稀疏成败→价值估计→优势条件策略”闭环迭代优化。核心创新在于：以简单文本条件（positive/negative advantage）接入流匹配策略，兼容多源数据（演示、自主、纠错），实现端到端离线强化学习；在咖啡机、衣物叠放等复杂任务上，成功率提升近半，吞吐量超2倍，验证了通用视觉-语言-动作模型在真机持续进化的能力。

VLAct提出表征为中心的持续预训练范式：在固定数据与算力预算下，通过浅层冻结、图文混合共训、多头连续动作联合监督及半统一跨本体动作空间，保护VLM先验、缓解解码器锁死、共享物理等价语义。基于Qwen3-VL-4B，仅16张GPU与开源数据，在LIBERO、跨本体迁移及真实机器人实验中显著优于基线，证明优化表征是独立有效的性能提升路径。