河图洛水-优快云博客

原创 Pi0-FAST 的 DCT + BPE 流水线拆解

本文提出FAST方法，基于DCT信号压缩将机器人连续动作序列高效编码为低频系数，显著缩短序列长度（如5个分量即达0.001误差），实现自回归模型在精细操作任务中首次媲美Pi0FM的精度，训练速度提升5倍。通过通用预训练Tokenizer复用语言模型优势，支持零样本语言跟随，且无需固定长度填充。虽推理较慢（30-50ms），但突破了传统量化导致的时序失真与训练瓶颈，实现“动作MP3压缩”式高效建模。

2026-11-11 10:01:51 34

原创 VPP2 全模块架构无敌详细解读

原始三路640×480图像经裁剪缩放后拼成880×480的T形画面，50fps视频每4帧抽1帧得17帧，再双线性缩至416×240。通过WanVideoVAE编码为5格latent（17→5），时间下采样与空间下采样结合。训练时以第1帧为条件，加噪后输入Video DiT，36通道融合噪声、掩码与条件，预测速度场并优化flow-matching loss。推理时从条件帧生成多步去噪，最终解码出17帧视频。

2026-11-05 14:27:32 231

原创 Wan2.1 架构与训推笔记

阿里通义万象发布开源视频基础模型Wan，采用“三明治”架构：Wan-VAE压缩像素至latent，DiT在latent空间通过Flow Matching生成，umT5提供文本条件。支持T2V与I2V，1.3B/14B模型结构一致，差异仅在宽度与层数。核心创新包括因果3D VAE、全时空注意力+共享AdaLN的DiT、分阶段训练策略及高效并行优化。推理支持多卡加速、Diffusion cache与FP8量化，显著提升效率。强调提示词扩写对生成质量的关键作用，实现高质量长视频生成。

2026-11-03 18:19:56 127

原创 DiT ：VAE 与 Transformer 去噪器如何接在一起

Peebles & Xie 提出 DiT（Diffusion Transformer），首次将标准 Vision Transformer 作为图像扩散模型的去噪骨干，替代传统 U-Net。在潜空间扩散框架（LDM）下，仅通过调整去噪器结构与条件注入方式，便在 ImageNet 256×256 上实现 FID 2.27（CFG 1.5），512×512 上达 3.04，超越当时所有扩散模型。核心创新在于：以可训练的 DiT 替代卷积网络，采用时间步与类别嵌入相加调制层归一化，实现高效、可扩展的生成。

2026-11-03 16:51:07 271

原创 VPP2: 先把未来画面想对，再动手

VPP2 的创新在于构建“视频→动作”的系统化训练课程：先以详细指令与事件级视频预训练，确保语义准确；再通过固定时长对齐校准时间，最后用隔离的动作专家蒸馏生成控制。核心是保护视频模型的泛化能力，避免动作训练破坏先验。方法强调数据规范（如消歧caption）、分阶段训练与信息隔离，而非新算法。实验显示其在零样本、开放指令与扰动场景下显著优于基线，但部分代码与权重未完全开源，影响复现。

2026-10-29 14:50:01 308

原创 π*₀.₆ 与 RECAP：真机做离线 RL

本文提出RECAP框架，首次实现大模型VLA在真实机器人长程任务中通过“稀疏成败→价值估计→优势条件策略”闭环迭代优化。核心创新在于：以简单文本条件（positive/negative advantage）接入流匹配策略，兼容多源数据（演示、自主、纠错），实现端到端离线强化学习；在咖啡机、衣物叠放等复杂任务上，成功率提升近半，吞吐量超2倍，验证了通用视觉-语言-动作模型在真机持续进化的能力。

2026-10-29 11:32:12 370

原创 χ₀: Kai0 用 MA / SA / TDA 驯服机器人学习的分布不一致

χ₀基于开源π₀.₅，以“资源可承受”三件套（模型合模、阶段感知优势、训练-部署对齐）实现长程衣物双臂操作接近产线稳定。核心创新在于系统性对齐三类分布：演示（P_train）、策略（Q_model）、真机执行（P_test），破解覆盖不足、时序错配与失败级联问题。通过权重空间合模补覆盖、直接回归阶段进度信号降噪声、及增广与平滑对齐分布，实现在20小时/任务、8×A100下成功率提升250%（达近100%），模块可叠加，支持24小时连续运行，代码数据全开源。

2026-10-28 17:57:27 380

原创 HIL-UMI：不让策略控真机，Energy Score 与 Advantage 如何筛出更值钱的帧

HIL-UMI提出无需真机的闭环人因后训练：通过手持UMI示范与策略旁观，解耦数据采集；利用Energy Score自动识别策略盲区，以progress-advantage动态筛选高价值样本；结合双流采集与ACBC机制，实现精准补强。三者协同，使数据采集更智能、训练更高效。

2026-10-28 11:36:02 275

原创 HumanEgo：机器人不模仿人的身体，只复现手与物体的关系

HumanEgo的核心创新在于提出Interaction-Centric Token（ICT），将人机模仿从视觉外观对齐转化为交互几何不变表示，实现跨身体形态的统一建模。通过分离视觉外观与运动学差异，结合稳定的手-夹爪重映射、多任务密集监督与零样本迁移，仅需15–30分钟人类视频即可在多种机器人上部署，性能超越遥操作。其最大价值在于揭示“交互几何”作为跨体感不变量的普适性，为后续研究提供关键方法论指引。

2026-10-27 17:46:32 175

原创 UniDex-VLA：用人类第一视角视频，训出能跨 8 种灵巧手的 3D VLA

论文提出“灵巧手基础模型”的系统性创新：通过人类视频→多手型机器人轨迹的可扩展数据管线，构建首个大规模、多手型、全模态的UniDex-Dataset；设计FAAS统一动作空间，实现跨手零样本迁移；结合UniDex-VLA与人机共训（UniDex-Cap），以2:1兑换率降低真实数据成本。核心贡献在于数据生成系统与动作语义对齐机制，推动灵巧操作从“单手专用”迈向“通用可迁移”。

2026-10-27 15:11:32 173

原创从 Phantom 到 Masquerade：把人手视频改成机械臂画面

Phantom通过RGBD+HaMeR将受控人类视频中手姿转为可信3D机器人末端动作，经inpaint与MuJoCo渲染生成“机器人视角”视频，实现零样本策略训练。Masquerade扩展至野外场景，因无深度信息，仅用2D关键点辅助，以二维末端位置监督，结合真机协同训练，弥补三维不准问题，需每任务50条真实机器人数据微调。

2026-10-26 16:16:05 169

原创 EgoVLA: 用第一人称人类视频训 VLA，再迁到双臂人形机

本文提出一种基于第一人称视频的连续动作预测方法，通过世界坐标系下摄像机位姿实现未来手腕位置的跨帧投影，保障监督一致性。模型融合6帧RGB图像与本体感觉信息（腕位姿、MANO参数），采用端到端轨迹解码器直接回归连续动作。训练分两阶段：人类视频预训练后在机器人仿真中微调。部署时结合坐标变换、逆运动学与专用重定向网络，实现从人类动作到仿人手的精准映射。

2026-10-22 16:35:13 174

原创 Cloak：不改 π0.5 骨干，靠「盖住腕部里的自己」做零样本跨 Embodiment

把腕部相机里的末端执行器遮住，VLA模型就不再依赖特定机械臂/夹爪的外形来做决策

2026-10-16 10:57:18 111

原创 EgoMimic：不用抱着机器人采数，戴副眼镜也能教机械臂

EgoMimic提出无需遥操作机器人即可通过佩戴Project Aria采集第一人称视频与手部轨迹，实现人手与机械臂数据的联合训练。通过统一坐标系对齐、共享ACT架构及双头监督（姿态+关节），使人类演示直接驱动低层控制策略，显著提升真机长程任务性能。实验证明，1小时人手数据常优于1小时机器人数据，突破传统模仿学习中“人手仅作高层规划”的局限。

2026-10-15 16:24:25 105

原创 Behavior-1k：2026 挑战赛纯仿真 benchmark

BEHAROR-1K2026挑战赛纯仿真数据集基于OmniGibson，包含100个长程家务任务，每任务200条演示，共2万条episode、2.109亿帧（30fps），约1,953小时，总大小3.0TB。

2026-09-20 17:04:48 223

原创 VLAct 数据清洗总结 (对应代码)

论文附录H实现多源机器人轨迹清洗：无效任务名整条丢弃；Franka动作对齐为Δ×FPS，用r_C筛起点并mask坏步，归一化到±0.5/±1.0；AgileX关节越界整条丢，wrap到±π；Gripper按数据集min-max归一化。主配方因数据集而异，训练时再映射到20维并屏蔽无关维度。

2026-09-08 18:18:05 200

原创 VLAct 详细总结

VLAct提出表征为中心的持续预训练范式：在固定数据与算力预算下，通过浅层冻结、图文混合共训、多头连续动作联合监督及半统一跨本体动作空间，保护VLM先验、缓解解码器锁死、共享物理等价语义。基于Qwen3-VL-4B，仅16张GPU与开源数据，在LIBERO、跨本体迁移及真实机器人实验中显著优于基线，证明优化表征是独立有效的性能提升路径。

2026-09-08 18:11:48 261

原创 Egoverse: 机器人学习的第一人称人类行为数据集

EgoVerse构建了1362小时、近8万段、覆盖1965项任务的双分部人类第一人称示教数据集，配合EgoDB系统与轻量采集管线，形成可持续演进的“活数据”生态。跨实验室、三机器人平台验证表明：人类数据可稳定提升机器人策略；数据对齐是规模化收益的前提；演示者与场景多样性分工不同；行为一致性影响迁移效率。

2026-09-02 16:17:56 416