自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(18)
  • 收藏
  • 关注

原创 Qwen-VLA 论文解读:Qwen3.5-4B + 1.15B DiT 流匹配动作解码器,LIBERO 97.9 / ALOHA OOD 76.9

摘要: Qwen-VLA 提出了一种统一视觉-语言-动作(VLA)任务的方法,解决了现有模型因任务、环境和机器人平台差异导致的碎片化问题。该方法结合 Qwen3.5-4B 视觉语言模型与 1.15B 参数的 DiT 动作解码器,通过条件预测框架生成跨平台的动作轨迹,支持操作、导航、轨迹预测等多种任务。实验表明,Qwen-VLA 在仿真与真实机器人任务(如 LIBERO、RoboCasa 和 ALOHA 平台)中表现优异,且在未见过的动态任务(DOMINO)上展现一定泛化能力。其核心创新在于统一动作表示与多任

2026-07-03 20:45:21 410

原创 开源 GR00T N1.7 论文解读:Cosmos-Reason2/Qwen3-VL + DiT 动作头,20K 小时人类视频预训练

论文:GR00T N1: An Open Foundation Model for Generalist Humanoid Robots(完全开源,arxiv 预印,7475 stars)会议:arxiv 预印链接:https://arxiv.org/abs/2503.14734。

2026-07-01 20:20:45 634

原创 开源人形机器人 VLA 基础模型 Ψ₀ 论文解读:Qwen3-VL 2B + MM-DiT flow matching 动作专家,成功率超 GR00T N1.6 达 40

摘要: 论文《Ψ₀: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation》提出首个完全开源的人形机器人通用移动操作基础模型。针对人机动作分布冲突问题,Ψ₀采用解耦式三阶段训练:VLM骨干网络在人类视频(EgoDex)学习语义理解,冻结后通过流匹配(flow matching)训练动作专家,最后用少量机器人数据微调。创新性引入实时动作分块(RTC)机制解决大模型推理延迟问题,在Unitree G1上的8项长时程任务测试中达

2026-06-26 19:16:50 684

原创 开源 RWM 论文解读:双自回归 GRU 世界模型给四足/人形机器人做 MBRL,6M 步数据训练 50 分钟零样本上真机

摘要(149字) 论文《Robotic World Model》提出了一种神经网络模拟器(RWM),用于解决机器人控制中模型预测控制(MPC)与无模型强化学习(RL)的瓶颈问题。核心创新是双自回归机制(GRU编码历史观测+自回归预测未来),通过多步预测损失和在线策略优化(MBPO-PPO),在50Hz控制频率下实现长程稳定预测。实验显示,RWM在ANYmal D真机上实现了零样本部署,预测误差显著低于MLP和Transformer基线。开源代码获651星,适用于足式机器人等接触密集型场景,但依赖高质量仿真数

2026-06-25 13:54:10 563

原创 经典开源 π0 流匹配 VLA 论文解读:PaliGemma 2B + 300M action expert 做 flow matching,10k 小时数据预训练 50Hz 灵巧操作

本文提出π₀模型,解决现有Vision-Language-Action(VLA)方法在机器人控制中的高频响应和连续动作表达问题。π₀采用双系统架构:VLM骨干(PaliGemma 2B)处理视觉语言输入,动作专家(Gemma 300M)通过flow matching生成连续动作序列,支持50Hz高频控制。模型在7种机器人平台、68个任务的10000+小时数据上预训练,结合开源数据集。关键创新包括:KV缓存优化实现高效推理、动作分块预测、离散化状态输入(π₀.5改进版)等。实验显示其在衣物折叠等灵巧任务中表现

2026-06-23 13:43:37 617

原创 开源 TTRL 论文解读:用多数投票当奖励信号在无标签测试数据上跑 GRPO,Qwen2.5-Math-7B AIME 2024 pass@1 提升 211%

清华大学PRIME实验室提出的TTRL(Test-Time Reinforcement Learning)是一种在无标注数据上进行强化学习的新方法,解决了传统RLVR(Reinforcement Learning with Verifiable Rewards)依赖标准答案的局限性。TTRL通过多数投票(majority voting)从模型自身采样中提取伪标签作为奖励信号,驱动GRPO(Group Relative Policy Optimization)更新策略。该方法在数学推理任务(如AIME竞赛题)

2026-06-22 14:27:53 494

原创 开源 Diffusion Policy 论文解读:DDPM 去噪生成动作序列,robomimic 四任务平均 95% / Push-T 真机推 T 字块成功率 95%

本文提出了Diffusion Policy,一种基于扩散模型的视觉运动策略学习方法,通过动作扩散生成多模态动作序列,避免了传统行为克隆的平均效应问题。核心方法采用一维条件UNet预测动作轨迹块,结合重规划控制实现时序一致性。实验在Push-T和robomimic基准测试中显著优于IBC、BET等方法,尤其在复杂任务如Tool Hang上成功率高达95.5%,而基线方法完全失效。关键设计包括动作块预测、EMA权重平滑和FiLM条件注入,适用于低维状态和视觉输入场景。虽然计算开销较大,但该方法为模仿学习提供了新

2026-06-21 13:54:53 558

原创 开源双臂模仿学习Aloha ACT 论文解读

这篇论文提出了一种低成本的双臂精细操作框架ALOHA,结合基于Transformer的动作分块策略(ACT),实现高精度双手机器人控制。核心创新包括: 硬件层面:使用商用机械臂(单台$5600)和3D打印夹爪搭建低成本遥操作系统ALOHA,仅需4个普通USB摄像头。 算法层面:提出ACT方法,通过动作分块(预测100步动作序列)和时序集成技术,将50条人类演示转化为成功率80-90%的策略,无需力传感器或轨迹规划。 实验验证:在8项精细操作任务中显著优于基线方法,如开杯盖(成功率92%)、装电池(96%)等

2026-06-20 12:43:29 509

原创 开源人形机器人 VLA 基础模型 GR00T N1.5 论文解读:Eagle 2.5 + DiT flow matching 双系统

**摘要:NVIDIA GEAR团队提出的开源基础模型GR00T N1/N1.5解决了人形机器人通用化任务执行的三大挑战:跨本体适配(通过EmbodimentTag系统统一不同机器人架构)、数据稀缺(融合真机轨迹、仿真数据和互联网人类视频)以及实时性要求(采用双系统架构分离推理与动作生成)。模型通过冻结的VLM模块(Eagle 2.5)处理视觉语言理解,配合扩散Transformer动作头(4步去噪)输出连续动作,并引入FLARE损失利用无标注视频数据。实验显示其在桌面操作(LIBERO 89.3%成功率)

2026-06-19 19:14:12 562

原创 π*0.6 论文解读:RECAP 让 VLA 从真实部署经验里学,advantage conditioning + 分布式 value function,叠衣服/做咖啡/装箱吞吐翻倍失败率减半

摘要: 论文《π0.6: a VLA That Learns From Experience》提出了一种名为RECAP(RL with Experience and Corrections via Advantage-conditioned Policies)的方法,旨在解决视觉语言动作模型(VLA)在真实场景中的性能瓶颈问题。传统VLA依赖模仿学习,性能受限于演示数据质量,而RECAP通过结合预训练、在线数据采集和advantage条件化策略,使模型能在部署中自我优化。实验表明,该方法在叠衣服、做咖啡和装

2026-06-18 13:44:29 735

原创 Claude Fable 5 / Mythos 5测评

Anthropic 在 2026 年 6 月 9 日发布了 Claude Fable 5 和 Claude Mythos 5。三天后,Anthropic 又发了一篇声明,说美国政府要求暂停所有用户访问 Fable 5 和 Mythos 5,理由涉及对 Fable 5 的潜在越狱担忧。这个节奏很反常,也让本期测评不能只看榜单。

2026-06-17 13:51:31 685

原创 开源双臂 VLA 全栈 Hy-VLA 论文解读:flow matching 动作专家 + delta-chunk 跨具身 + 2K 小时双臂数据,RoboTwin 90.9 / 真机跨具身 90%

腾讯Robotics X团队提出的Hy-Embodied-0.5-VLA模型构建了一套完整的机器人学习栈,解决了跨具身迁移、长时序操作记忆和大规模双臂数据采集三大难题。该模型采用双塔架构,通过Delta-Chunk动作表示实现跨平台适配,利用时序-空间注意力压缩历史信息,并基于Flow-Matching技术建模连续动作。实验表明,在仿真和真机测试中,Hy-VLA在精细操作任务上表现优异,尤其在跨具身迁移场景下,依赖UMI采集的大规模数据实现了90%的成功率。尽管在长时序任务和精细抓取场景仍存在局限,该工作为

2026-06-16 16:50:17 441

原创 人形机器人VLA基础模型对比:GR00T N1 vs Ψ₀

本文对比分析了GR00T N1与Ψ₀两大人形机器人基础模型的核心差异。GR00T N1采用"数据规模驱动"策略,通过大规模异构数据混合训练构建通用模型;Ψ₀则主张"数据质量驱动",采用分阶段解耦训练范式。在架构上,GR00T N1使用双系统设计(VLM+DiT),而Ψ₀创新性地提出三系统架构(VLM+MM-DiT+RL控制器),其中MM-DiT通过联合全局注意力实现更优的多模态融合。二者在动作空间、控制范式等关键技术层面也存在显著差异,反映了对通用人形机器人模型设计的不同哲学理念。性能评估显示,Ψ₀在需要长

2026-06-16 15:54:42 234

原创 开源 Agentic RL 框架 Search-R1 论文解读:base LLM 用 RL 从零学会搜索策略,Qwen2.5-7B 七数据集平均提升 41%

本文介绍了Search-R1,一种通过强化学习(RL)训练大型语言模型(LLMs)自主调用搜索引擎进行推理的方法。与传统的基于提示或RAG的方法不同,Search-R1让模型在RL训练中自行学习何时搜索、搜索什么以及如何处理搜索结果。核心方法包括多轮搜索交互、检索标记掩蔽(Retrieved Token Masking)和基于最终答案的奖励函数。实验显示,该方法在多个QA数据集上显著优于基线模型(如Qwen2.5-7B提升41%)。Search-R1支持PPO、GRPO和REINFORCE++等RL算法,并

2026-06-15 15:23:51 770

原创 开源 RL 框架 SWITCH 论文解读:用两个边界 token 把潜空间推理拉回 GRPO 训练,Qwen3-8B 在 MATH-500 上 79.3% / GSM8K 89.2%

SWITCH 用一对 `<swi>/</swi>` 边界 token,把 Coconut 风格的潜空间推理重新接回 on-policy GRPO 训练;在 Qwen3-8B 上 MATH-500 拿到 79.3%、GSM8K 89.2%,论文 + 代码 + LoRA 权重 + 数据集全开源。

2026-06-14 11:03:46 510

原创 开源代码模型 Kimi K2.7-Code 首发测评:代码能力暴涨 21.8%,推理 token 反而少了 30%

2026-06-12,月之暗面发布并开源了最新代码模型 Kimi-K2.7-Code。同一天,小米开源了 MiMo Code,摩尔线程开源了 MusaCoder——三款国产开源代码模型同一天发布,这不是巧合。我用了一个下午深度体验 K2.7-Code,结论是:它是三款里最均衡的开源通用代码模型,也是目前国产开源模型里最值得日常切换的选择。

2026-06-14 09:08:29 1467

原创 开源人形机器人 RL 框架 Humanoid-Gym 论文解读:零样本 Sim2Real,从原理到本地部署

本文介绍了开源人形机器人强化学习框架Humanoid-Gym,该框架实现了零样本仿真到真实(Sim2Real)迁移,无需真实微调即可直接部署。通过域随机化、五分量奖励函数、高并行训练和Sim2Sim验证等关键技术,该框架在多种真实场景下实现了稳定的双足行走。文章详细说明了本地部署流程,包括环境配置、训练和评估步骤,并讨论了其适用场景与局限性。Humanoid-Gym作为完全开源的项目,已成为人形机器人强化学习领域的重要基准,获RSS 2024最佳论文决赛提名和GitHub 2021星标。

2026-06-13 15:59:35 474

原创 开源 VLA 模型 MemoryVLA 论文解读:感知-认知记忆让机器人记住失败——ICLR 2026,从原理到本地部署

MemoryVLA是清华大学等机构提出的开源VLA(视觉-语言-动作)模型,通过引入感知-认知记忆机制解决传统VLA模型缺乏历史记忆能力的问题。该模型采用可学习的键值记忆库存储视觉特征和动作结果,通过检索历史经验辅助当前决策。关键创新包括动态记忆写入策略、LRU遗忘机制,在Libero基准上达到96.5%成功率,长周期任务表现突出。论文提供了完整开源实现,支持本地部署,详细说明了从环境配置到训练评估的全流程。这项工作为机器人持续学习提供了新思路,特别适合需要记忆历史交互的长周期操作任务。

2026-06-13 15:33:48 748

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除