传说故事-优快云博客

原创【多篇论文阅读】Interactive World Models

把互联网预训练的双向 video Diffusion，改造成可逐步 rollout、能跟 action 走的 interactive world model。在 Rocket League 上做首个强物理交互的四人 interactive world model：同时吃四路 action，实时生成四视角对局，并开源数据与代码。

2026-08-24 19:30:16 173 1

原创【论文阅读】Whole-Body Conditioned Egocentric Video Prediction

作者想让模型根据“人怎么动身体”预判第一人称画面会怎么变，于是用全身 3D 姿态当控制信号来生成未来视角视频，比只用简单导航控制的方法更贴近真实动作带来的视觉变化。值得记住的是：用真实同步的第一人称视频 + 全身动捕，证明“怎么动”可以直接驱动“会看到什么”。主要局限是规划仍很初步（多只动单臂、靠图像相似度选动作），且未条件化任务意图。

2026-08-24 17:01:22 167 1

原创快速理解：DDP、Accelerate、ZeRO、FSDP、DeepSpeed 都是什么关系？

Mixed Precision 是用 fp16 或 bf16 训练，省显存、提速度，大模型训练很常见。Pipeline Parallelism 是把模型不同层放到不同 GPU 上，像流水线一样训练，适合模型层数很多。普通 DDP 里，每张 GPU 都要保存完整的模型参数、梯度、优化器状态，显存很浪费。意思是：每张 GPU 都放一份完整模型，但处理不同的数据，最后同步结果。DeepSpeed 是微软的大模型训练框架，里面包含 ZeRO、ZeRO-Offload、ZeRO++ 等功能。DDP：多卡加速训练。

2026-08-19 23:33:48 212

原创数据库中一些常用英文单词含义

它不是数据本身，而是说明“有哪些东西、它们在哪里、怎么使用”。这类变更记录就叫 migration。通常指“清单文件”或“声明文件”。这个文件就可以叫 manifest。通常指“资产清单”或“盘点结果”。就是 schema，用来组织表。这也可以叫这个表的 schema。是“实体”，也就是一个业务对象。在数据库里通常指“数据模型”。它描述业务对象怎么变成数据结构。建索引，让数据库更快找到。

2026-07-30 17:42:34 240

原创【多篇论文阅读】Real Time Chunking相关

在模拟实验中，当推理延迟较高时，其性能甚至优于推理时RTC。RTC在模拟和真实世界的灵巧操作任务中（如点燃火柴）都表现出极强的延迟鲁棒性，显著提升了任务完成速度和成功率。这篇论文提出了一种名为“实时分块”（RTC）的推理算法，让机器人能在不等待模型计算完成的情况下，平滑地执行下一个动作序列，从而解决了大型模型推理延迟高导致的动作卡顿问题。这篇论文提出了一种名为“训练时RTC”（Training-time RTC）的方法，通过在训练阶段模拟推理延迟，消除了机器人实时控制中推理阶段的计算开销。

2026-07-23 14:24:42 263 1

原创【多篇论文阅读】实时交互模型（一）数字人方向

作者为了解决现有AI数字人反应慢、像“机器人”的问题，提出了一个名为的原生流式模型，它能在一个里同时处理音视频的输入输出，实现了约550毫秒的超低延迟全双工交互。这篇论文最大的贡献是证明了用一个统一的模型就能搞定实时的音视频交互，不再需要繁琐的模块拼接。目前的局限是生成的视频分辨率还较低（192p），但这为未来开发真正“活”的数字人指明了方向，值得精读其架构设计思路。

2026-07-17 01:54:05 278 1

原创【论文List泛读】Robot+Agent（一）

作者为了解决VLA模型泛化能力差、需要大量演示数据的问题，提出了一个名为Agentic-VLA的在线自适应框架，通过让模型在交互中自我进化和利用过往经验，在LIBERO基准测试中将长程任务成功率提升了12.3%，并将收敛速度提高了2.4倍。这篇论文最大的贡献是证明了通过引入“智能教练”机制（动态奖励、语言引导、经验记忆），可以让VLA模型具备像人一样的持续学习能力。虽然目前主要在仿真环境中验证，且存在奖励黑客等潜在风险，但它为机器人摆脱对海量数据的依赖指明了方向，非常值得精读。

2026-07-17 01:41:37 260

原创【论文阅读】HumanEgo: Zero-Shot Robot Learning from Minutes of Human Egocentric Videos

本文提出了一种名为HumanEgo的框架，它能直接利用普通人佩戴眼镜拍摄的几分钟第一人称视频，在不需要任何机器人数据的情况下，直接教会机械臂完成复杂的操作任务。

2026-06-10 19:22:25 857 1

原创【论文阅读】DATA SCALING LAWS IN IMITATION LEARNING FOR ROBOTIC MANIPULATION

作者通过收集海量机器人操作数据，发现并验证了数据 scaling law，证明了只要收集足够多样的环境和物体数据，简单的模仿学习就能让机器人学会零样本泛化。

2026-06-10 18:30:47 344 1

原创【论文阅读】EmbodiedScan: A Holistic Multi-Modal 3D Perception Suite Towards Embodied AI

本文发布了一个名为 EmbodiedScan 的超大规模室内3D场景数据集，并基于此提出了一个名为 Embodied Perceptron 的基准模型，旨在解决具身智能体在第一人称视角下对3D环境进行全方位感知和理解的问题。

2026-06-10 15:23:09 459 1

原创【论文阅读】WorldArena 2.0:扩展具身世界模型在模态性、功能性与平台上的基准测试

通过把评测标准从“光看视频像不像”升级到“多模态感知+真动手干活+现实世界测试”，逼出真正能用的具身世界模型。

2026-06-10 12:36:13 305 1

原创【论文阅读】RoboFactory: Exploring Embodied Agent Collaboration with Compositional Constraints

本文提出了一种名为 RoboFactory 的框架和基准测试，利用大模型生成“逻辑、空间、时间”三重限制条件，来自动化地生成高质量的多机器人协作训练数据，并探索了如何训练多机器人模仿学习模型。

2026-06-01 01:32:36 409 1

原创【论文阅读】LIMR: Less is More for RL Scaling

本文通过研究证明，在RL训练中，数据的“质量”比“数量”更重要，提出了一种自动筛选高质量训练数据的方法。

2026-05-29 01:00:00 754 1

原创【论文阅读】Learning while Deploying: Fleet-Scale Offline-to-Online Reinforcement Learning for Generalist

通过让机器人大军在实际干活时边干边学（Online RL），用分布式的强化学习算法，把预训练好的通用机器人模型（VLA）从“理论派”变成“实战派”，解决了离线数据无法覆盖真实世界复杂情况的痛点。

2026-05-25 14:19:04 470

原创【论文阅读】VLAW: Iterative Co-Improvement of Vision-Language-Action Policy and World Model

通过用真实机器人跑坏掉的数据“校准”世界模型（World Model），让这个模拟器不再“画饼”（过于乐观），然后用校准后的模拟器生成海量假数据来训练机器人策略，实现了在接触丰富、软体物体任务上的大幅提效。

2026-05-25 01:21:26 477

原创【论文阅读】MEM: Multi-Scale Embodied Memory for Vision Language Action Models

本文提出了一种名为MEM的多模态记忆架构，通过结合短时视觉记忆和长时语言记忆，解决了机器人模型在处理长达十几分钟的复杂任务时的记忆与效率平衡问题。

2026-05-23 16:57:21 505

原创【论文阅读】RLDX-1

本文提出了一种名为RLDX-1的通用机器人策略模型，通过整合视觉、语言、动作以及触觉/扭矩等物理信号，并配合合成数据和推理优化，让机器人（尤其是人形机器人）能像人一样灵活地处理复杂的动态和接触丰富的操作任务。

2026-05-22 14:35:19 401

原创【论文阅读】Guide, Think, Act: Interactive Embodied Reasoning in Vision-Language-Action Models

本文提出了一种名为GTA-VLA的框架，允许人类通过简单的点、框或轨迹等视觉提示来引导机器人的思考过程，从而解决机器人视觉理解错误或环境复杂导致的任务失败问题。

2026-05-22 14:27:01 415

原创【论文阅读】StereoVLA: Enhancing Vision-Language-Action Models with Stereo Vision

本文提出了一种名为StereoVLA的模型，通过引入双目立体视觉，显著增强了机器人视觉语言动作模型（VLA）的空间感知和操作精度。

2026-05-22 14:17:19 542

原创【论文阅读】LDA-1B: Scaling Latent Dynamics Action Model via Universal Embodied Data Ingestion

本文提出了一种名为LDA-1B的机器人基础模型，通过在统一的潜在空间中联合学习环境动力学、策略和视觉预测，实现了对海量异构数据（包括低质量数据和纯视频）的有效利用和扩展。

2026-05-22 14:02:38 393

原创【论文阅读】GEN-1: Scaling Embodied Foundation Models to Mastery

本文发布了新一代通用机器人模型GEN-1，通过大规模物理数据预训练和算法优化，首次让机器人在简单任务上达到了接近人类的“精通”水平（高成功率、高速度、能即兴应变）。

2026-05-21 17:44:23 357

原创【论文阅读】GEN-0: Embodied Foundation Models That Scale with Physical Interaction

本文提出了GEN-0，一种通过海量真实物理交互数据进行预训练的具身基础模型，旨在建立机器人领域的“扩展定律”，实现机器人智能随数据和算力增加而可预测地提升。

2026-05-21 17:27:02 244

原创【论文阅读】VGGT-Ω

本文提出了一种名为 VGGT-Ω 的模型，旨在通过扩大模型和数据规模，并改进架构（如引入 Register Attention），实现更快速、更准确的静态和动态场景 3D 重建。

2026-05-21 16:33:32 504

原创【论文阅读】MotuBrain: An Advanced World Action Model for Robot Control

本文提出了一种名为 MotuBrain 的机器人控制模型，它通过一个统一的 Diffusion 模型同时预测“世界画面”和“机器人动作”，让机器人既能看懂世界，又能精准执行复杂任务。

2026-05-21 16:20:00 488

原创【论文阅读】Stable Video Infinity: Infinite-Length Video Generation with Error Recycling

本文提出了一种名为 Stable Video Infinity (SVI) 的方法，通过“循环利用”模型自己犯的错误来训练视频生成模型，从而实现无限长度、高质量且画面连贯的视频生成。

2026-05-21 15:41:46 323

原创【论文阅读】GS-Playground: A High-Throughput Photorealistic Simulator for Vision-Informed Robot Learning

本文提出了一种名为GS-Playground的机器人模拟框架，通过结合自研的并行物理引擎和批量3D高斯泼溅（3DGS）渲染技术，实现了高吞吐量的 photorealistic 视觉模拟，旨在解决视觉驱动的机器人学习中渲染效率低和资产制作困难的问题。

2026-05-21 15:24:59 439

原创【论文阅读】3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations

本文提出了一种名为3D Diffusion Policy (DP3) 的算法，通过使用简单的3D点云表示来增强机器人的模仿学习能力，使其仅需少量演示就能学会复杂技能，并具备强大的泛化能力。

2026-05-21 15:12:47 384

原创【论文阅读】ManiFlow: A General Robot Manipulation Policy via Consistency Flow Training

本文提出了一种名为ManiFlow的机器人控制策略，通过结合流匹配和一致性训练，能根据图像、语言等输入快速生成精准的高维动作，解决了灵巧操作中推理慢和泛化差的问题。

2026-05-21 14:46:53 422

原创【论文阅读】Unified 4D World Action Modeling from Video Priors with Asynchronous Denoising

本文提出了一种名为 X-WAM 的统一 4D 世界模型，能在预测机器人动作的同时，生成包含 3D 空间信息的高保真视频，且通过异步去噪技术保证了动作执行的实时性。

2026-05-20 23:29:07 356

原创【论文阅读】AnyGrasp: Robust and Efficient Grasp Perception in Spatial and Temporal Domains

本文提出了一种名为AnyGrasp的系统，能让机器人像人一样快速、准确地抓取静止和移动的物体，且对深度相机的噪声不敏感。

2026-05-20 22:20:51 442

原创【论文阅读】GraspVLA: a Grasping Foundation Model Pre-trained on Billion-scale Synthetic Action Data

本文提出了一种完全依靠合成数据训练的机器人抓取大模型 GraspVLA，通过结合互联网图像数据解决了合成数据与真实世界之间的语义差距，实现了无需真实机器人数据的零样本泛化。

2026-05-20 22:08:02 428

原创【论文阅读】Code as Policies: Language Model Programs for Embodied Control

本文利用大语言模型（LLM）根据自然语言指令直接生成Python代码作为机器人的控制策略，从而让机器人具备处理复杂任务、空间推理和泛化新指令的能力。

2026-05-20 17:26:27 531

原创【论文阅读】Realtime-VLA FLASH: Speculative Inference Framework for Diffusion-based VLAs

本文提出了一种名为 FLASH 的推测性推理框架，通过引入轻量级“草稿模型”快速生成候选动作，并利用主模型的“动作专家”并行验证，从而大幅降低了基于扩散模型的视觉语言动作模型（dVLA）的推理延迟，使其能够满足实时机器人控制的需求。

2026-05-19 22:41:31 371

原创【论文阅读】Yell At Your Robot: Improving On-the-Fly from Language Corrections

让机器人通过听懂人类的语言来实时调整动作，并利用这些反馈数据自我迭代升级，从而在不增加昂贵遥操作成本的情况下，搞定复杂的长程双手机械臂任务。

2026-05-19 21:51:33 527

原创【论文阅读】RoboAgent: 通过语义增强和动作分块实现机器人操作的泛化与效率

只用了很少的真机训练数据（7.5k条），通过“P图”扩充数据和“预测动作片段”而非单步动作，训练出了一个能听懂人话、在没见过的厨房场景里也能完成多种复杂任务的通用机器人。

2026-05-19 21:39:39 1834

原创【论文阅读】Continual Harness: Online Adaptation for Self-Improving Foundation Agents

本文开发了一套能让AI游戏角色在玩《宝可梦》时“自己教自己”怎么玩得更好的系统，不用每次失败后重头开始，而是像人一样从经验中积累技能和记忆，持续变强。

2026-05-19 17:58:42 450

原创【论文阅读】HY-Embodied-0.5: Embodied Foundation Models for Real-World Agents

腾讯团队研发了一套专为机器人设计的视觉语言模型（VLM），通过独特的架构和训练方法，让机器人能更精准地看懂世界、进行空间推理并规划行动。

2026-04-30 13:47:18 635

原创【论文阅读】RISE: Self-Improving Robot Policy with Compositional World Model

让机器人在"想象空间"里通过世界模型做梦练习，用预测未来+评估好坏的组合方式自我提升策略，避免真实世界中昂贵的试错成本。

2026-04-30 13:25:11 641

原创【论文阅读】Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion

本文提出了一种叫“扩散强制（Diffusion Forcing）”的新方法，让模型既能像GPT一样自由地生成长短不一的序列（如视频、动作），又能像全序列扩散模型一样进行全局规划和纠错，解决了长序列生成容易“崩”掉的问题。

2026-04-29 18:04:21 675

原创【论文阅读】AWR：Simple and scalable off-policy RL

作者提出了一种叫AWR的算法，把复杂的强化学习变成了两个简单的“监督学习”任务（回归），既不需要复杂的Q-learning，也能利用旧数据（Off-policy）高效学习。

2026-04-28 23:33:50 503

空空如也

空空如也