zh路西法-优快云博客

原创【Go2强化学习算法复现】（一）：Robust Perceptive Locomotion——融合本体感知与外部地形感知的鲁棒运动控制

本文讲述了在 Go2 上复现 Miki 等人 2022 年的分层运动控制框架——先用 PPO 训出一个吃特权信息的教师策略，再用带噪高度采样、GRU 信念与门控解码器把教师的动作蒸馏成学生策略，最后在同一张楼梯井上做逐级定量评测，验证学生在三种地图噪声下仍接近满额、而教师吃同样的噪声几乎失效，并用"抹平地图"的对照说明外感知确实承重。

2026-11-08 11:34:21 81

原创【四足强化学习经典算法】（五）：CTS——并行教师-学生强化学习与协同策略优化

本文讲述了 CTS（并发教师-学生强化学习）如何把教师组与学生组放进同一个非对称 Actor-Critic 框架，共享策略与价值网络同轮训练，用改进的 PPO 按组计算概率比、用潜变量重建把特权信息传给本体感知策略，并结合论文实验与一个一维速度跟踪任务的最小复现，讨论它相对两阶段蒸馏的收益与边界。

2026-11-06 17:42:30 341

原创【四足强化学习经典算法】（四）：Robust Perceptive Locomotion——融合本体感知与外部地形感知的鲁棒运动控制

本文讲述了苏黎世联邦理工 Miki 等人的 Learning robust perceptive locomotion for quadrupedal robots in the wild：先用特权信息训练教师策略、再蒸馏出带循环信念编码器与注意力门控的学生策略，并结合社区代码逐层拆解观测与动作空间、噪声模型、编解码结构与部署链路，最后用受控小实验验证门控确实会随外感质量自动关闭。

2026-11-05 18:40:38 387

原创【Elevator-LIO源码解读】面向电梯场景的非惯性运动建模与状态解耦

本文讲述了电梯这一非惯性参考系下 LIO 为何会漂移（FAST-LIO2 的Ⅱ型发散与 Point-LIO 的Ⅰ型叠层），以及 Elevator-LIO 如何用"机器人相对状态 + 轿厢运输状态"的解耦状态、模式相关的 IESKF 传播与更新、进出电梯的事件检测与退出零状态修正把跨楼层定位接住，并逐节对照源码讲解这些公式落在哪个函数、哪几张参数表里。

2026-11-04 19:22:09 268

原创【PACE】面向永磁同步电机PMSM 执行器的参数辨识与能耗感知强化学习 Sim-to-Real

本文从 Isaac 仿真平台以及域随机化与系统辨识的分工讲起，完整拆解了 PACE 这套零样本 Sim-to-Real 方法：用约 20 至 40 秒的悬空扫频数据，通过 CMA-ES 辨识关节层的动力学参数来校准仿真模型，再借助 PMSM 物理能量奖励训练盲视策略并直接迁移到真机，最后给出可执行的部署流程与多平台实验结论。

2026-11-03 19:37:16 277

原创【四足强化学习经典算法】（三）：DreamWaQ——隐式地形想象与显式状态估计

本文讲述了 ICRA 2023 的 DreamWaQ 如何只用本体感知实现四足机器人的鲁棒运动：它用共享编码器同时输出机身线速度与上下文潜变量，以 β-VAE 重建下一时刻观测实现隐式地形想象，配合非对称 Actor-Critic 与 AdaBoot 完成仿真到真实的零样本迁移，并给出 CENet 的模块级工程实现与数值验证。

2026-11-02 13:55:21 335

原创【模型式强化学习】（五）：PlaNet——从 RSSM 潜在状态建模到 MPC 动作规划

本文讲述了 PlaNet 如何用 RSSM 把确定性隐状态与随机潜在状态结合起来，从图像中学习环境动态，并通过先验与后验分布的 KL 约束训练出能向前多步预测的世界模型，再用 CEM 在潜在空间中滚动预测奖励、完成模型预测控制，最后在 Walker 任务上用预训练权重验证从图像到动作的完整闭环。

2026-11-01 18:01:02 196

原创【POMDP】从单帧图像到时序感知：CNN、VAE、GRU 与 PPO 的视觉控制实验

本文以纯图像观测下的倒立摆起摆为任务，在单帧观测与 POMDP 的关系下，对「端到端 CNN 特征」与「冻结 VAE 特征」两种特征来源，以及「单帧、4 帧堆叠、GRU」三种历史引入方式进行两两组合，共构成六组消融实验；通过对比证明：单帧观测缺少角速度因而必然失败，补上历史后六组中有四组成功率均为 100%；并进一步厘清「预训练特征提升样本效率、端到端特征提升回报上限」这一取舍，以及重建质量并不等于特征的可用性。

2026-11-01 10:14:24 435

原创【四足强化学习经典算法】（二）：Concurrent Training of a Control Policy and a State Estimator ——显式状态估计网络与并行训练控制策略

本文讲述了 MIT Mini Cheetah 如何用显式状态估计器估计机身速度、足端高度与接触概率，并将该估计器与 Actor-Critic 控制策略放进同一训练循环并发训练，同时拆解其观测构成、网络结构、PPO 更新、奖励设计、对比实验以及官方部署代码的实现方式。

2026-10-28 18:34:53 197

原创【深入理解 LSTM】从时间反向传播（BPTT）到长时记忆：门控机制与实验验证

本文讲述了循环网络如何通过沿时间反向传播（BPTT）训练：从一个时间步的递推与计算图推导梯度形式，用状态雅可比矩阵的连乘解释梯度消失与梯度爆炸的由来，再以正弦序列预测和部分可观测的角速度估计两组实验走完训练流程，接着展开 LSTM 的逐门计算，用延迟回溯与状态清空观察记忆究竟存放在哪个状态里，最后把 LSTM、GRU 与 Transformer 放回选型语境。

2026-10-28 17:52:12 230

原创【模型式强化学习】（四）：World Models——从潜在状态建模到梦境中的策略进化

本文讲述了 World Models 如何用 V–M–C 三个模块把高维画面压缩成潜向量、学习环境动态并据此前向决策，并结合公式与源码解析，最后借助预训练权重在 CarRacing 上跑通编码、预测与控制的完整闭环，完成一次控制器评估并分析其局限。

2026-10-27 17:52:06 356

原创【模型式强化学习】（三）：MBPO——短轨迹生成与模型数据驱动的策略优化

本文从离策略学习与 SAC 出发，讲解 MBPO 如何用概率集成动力学模型从真实状态出发生成短分支轨迹、并与真实数据混合训练 SAC，配合核心代码给出完整实现，最后在 HalfCheetah-v4 上通过学习曲线、达到目标回报所需的真实步数与开环预测三组实验，说明它在同等真实交互预算下比 SAC 更早取得更高回报，而模型的可信范围仅限于短时域

2026-10-26 19:19:01 299

原创【玩转VLA具身智能机械臂】（额外）：GroundingDINO+SAM ——自然语言分割物体

本文讲述了如何用 Grounding DINO 把一句文本提示变成目标框、再用 SAM 把框变成像素级掩码：先拆解前者的 Swin 主干、BERT 文本编码、特征增强器、语言引导查询选择与跨模态解码器，再拆解后者的 ViT 图像编码器、提示编码器与超网络掩码解码器，最后串起完整流程，并给出本地部署结果与后续三维抓取的前置准备。

2026-10-26 14:58:54 222

原创【四足强化学习经典算法】（一）：RMA——盲视运动控制与快速适应模块

本文以 RMA 原论文的两阶段训练框架为主线，结合官方仓库源码，逐项说明环境因子编码与特权 PPO、基于历史观测的适应模块监督训练，以及 100 Hz 与 10 Hz 异步推理部署，并标注了仓库中属于 CMS 扩展的实现细节。

2026-10-24 14:22:26 316

原创【模型式强化学习】（二）PETS——从概率动力学模型到模型预测控制（MPC）

本文在 Pendulum-v1 上用 PyTorch 复现了 PETS，并把概率动力学模型集成（PE）、轨迹采样、CEM 规划与 MPC 滚动控制逐层拆开，用六组实验分别验证单步与多步预测精度、两类不确定性的分离与校准、闭环数据效率和规划器各组件的作用。

2026-10-23 16:59:57 125

原创【模型式强化学习】（一）：Dyna——从核心架构到 Dyna-Q 与 Dyna-AHC

本文从模型式强化学习的基本概念出发，介绍 Dyna 把真实交互、环境模型学习与规划整合进同一循环的架构，并在 6×9 迷宫上复现 Dyna-Q 与 Dyna-AHC，说明规划能通过反复利用模型生成的模拟经验加快信用分配、提高真实经验的利用效率。

2026-10-22 21:18:56 296

原创【3D SLAM源码解读系列】(五) OpenKarto 源码解析：SLAM Toolbox 的二维 SLAM 核心

本文以 slam_toolbox 维护的 Karto 实现为对象，沿扫描匹配、回环检测、位姿图优化与地图生成四条链路对照核心公式和源码，并补充了参数配置与 launch 启动方式。

2026-10-21 20:35:39 333

原创【增量式启发式搜索】：D* Lite、LPA*——面向动态地图的全局规划优化算法

本文以 A* 为基线推导并实现 LPA* 与 D* Lite，通过已知动态地图和未知地图两组受控实验比较三者的扩展数与规划耗时，说明增量修复的收益取决于单次变化量、地图规模与每次扩展的额外开销，并不只由是否复用上次搜索决定。

2026-10-19 16:53:45 294

原创【玩转VLA具身智能机械臂】（八）：OpenVLA——从视觉语言理解到机器人动作生成

本文从 VLA 的四条技术路线切入，以 OpenVLA 为主线讲清它如何用 DINOv2 + SigLIP 看懂画面、用 Projector 把视觉接进 Llama 2 7B，并把机械臂动作改写成“256 档动作 token 的下一 token 预测”，最后串起数据、预训练、LoRA 微调与量化部署的完整链路。

2026-10-18 10:07:37 235

原创【生成式模型入门】（四）：Flow Matching——从速度场学习到生成路径

本文从 Diffusion Policy 迭代去噪的开销出发，把 Flow Matching 从连续性方程到"条件流匹配损失与不可算的流匹配目标梯度等价"这条推导走完，拆解了官方实现的路径、调度器、网络、求解器四个部件，再在二维双月形上量出生成质量十几步就饱和、而单样本代价始终随步数严格线性，由此说明它的价值不在于生成得更好，而在于把每一步的代价与路径的形状解耦开。

2026-10-16 19:07:54 346

原创【模型量化基础】从 FP16 到 NVFP4：你需要知道的量化知识

本文从浮点数的位域出发，说明了量化的一般形式与误差来源，并以 `NVFP4` 为例走通了一个 4 位格式从设计到交付的完整链路

2026-10-16 11:37:45 143

原创【离策略强化学习】DDPG、TD3 与 SAC：核心公式推导与源码解析

本文从在策略与离策略的区别讲起，逐代拆解了 `DDPG`、`TD3`、`SAC` 的原理与 `SB3` 源码实现，最后用一个受控实验把三代算法与在策略基线 `PPO` 放在同一个环境、同一个交互预算下对照

2026-10-13 22:11:57 224

原创【LeRobot SO101 实战】（二）：ACT 真机抓放成功！从源码解析到 2 万步训练实录

本文基于 LeRobot 框架的源码结构，系统梳理了其核心模块与训练流程，并结合 ACT 算法在 SO101 机械臂上的实际应用，完整介绍了从策略原理与源码实现、专家示范数据采集、模型训练到真实机器人部署与实验验证的全过程。

2026-10-10 20:45:02 358

原创【生成式模型入门】（三）：Diffusion Policy——从扩散模型到机器人动作生成

本文以 Push-T 为例，结合 Diffusion Policy 的论文与源码，介绍了扩散策略在机器人模仿学习中的基本原理与实现流程，并完成了从环境配置、专家数据验证到官方模型评测的复现过程。

2026-10-10 11:06:33 182

原创【LeRobot SO101 实战】（一）：从机械臂组装、标定到数据集采集——完整跑通 SO-ARM101

本文讲述了如何从零把 LeRobot SO-ARM101 的实机工作流完整跑通：硬件组装与舵机编号、udev 端口固定、舵机中值标定，到 Leader-Follower 主从遥操作、数据集采集，再到数据可视化、回放与数据集维护工具的使用。

2026-10-08 21:16:00 683

原创【玩转VLA具身智能机械臂】（七）：ACT——从单步动作到 Action Chunking 的机器人模仿学习

本文讲述了 ACT 如何用 Action Chunking（一次预测未来 k 步动作）配合 CVAE 建模人类示教的多模态，来缓解行为克隆的累积误差与非马尔可夫问题，并结合官方代码逐模块拆解了从观测构造、CVAE、Encoder/Decoder 到 Temporal Ensembling 的方法链路，以及数据采集、训练与评测的完整流程。

2026-10-07 15:45:35 820

原创【DETR原理+可视化】从 ResNet 特征到 Transformer Attention，彻底看懂 DETR

本文讲述了 DETR 如何把目标检测改写成集合预测问题，并通过五个注意力可视化实验验证其数据流与"无需 Anchor、无需 NMS"的设计。

2026-10-04 16:42:32 316

原创【ResNet18】从图像到视觉特征：卷积神经网络如何理解图像

本文从`CNN`提取视觉特征的基本规律出发，经过`ResNet`的残差学习原理、`ResNet18`的结构解析、`CIFAR-10`上的完整训练，一直推进到三个特征可视化任务，把"一张图像如何转换为 512 维视觉特征"这条链路完整走了一遍

2026-09-30 11:22:09 130

原创【论文基础常识】：从机器人领域出发，带你了解科研论文基础知识

本文从机器人领域出发，把一篇论文的构成、引用与投稿流程，以及期刊、会议的分类体系串成一条线，整体偏工科，仅供参考。

2026-09-29 13:22:08 287

原创【上手一只MicroDuck】：（一）从机器人结构到强化学习训练框架

本期我们从 MicroDuck 这台双足机器人出发，走完了它一个 PPO 训练任务的全部构成：硬件与关节布局、工程目录、Command、Observation、Action、Reward，最后把这几块接回`rsl_rl`的训练主循环，逐一对上配置文件里的旋钮

2026-09-28 17:27:52 598 1

原创【生成式模型入门】（二）：DDPM去噪扩散概率模型 — 从条件均值到逐步去噪（下：实现与实验）

本文讲述了 DDPM 的完整实现与六组二维合成云实验:从张量形状、噪声调度、去噪网络与两种参数化的统一讲到训练流程,再用前向加噪、噪声调度、反向去噪路径、噪声场、无条件生成与 DDIM 步数扫描逐条核对上篇的每一个论断,并把这套机制延伸到图像生成与机器人动作生成。

2026-09-26 10:16:32 363

原创【生成式模型入门】（二）：DDPM去噪扩散概率模型 — 从条件均值到逐步去噪（上：原理与推导）

本文讲述了扩散模型相对 VAE 与 GAN 处在什么位置,以及 DDPM 从加噪到去噪的完整推导链:先给出前向过程任意时刻的闭式解并用归纳法证明,再求解反向过程的后验分布、说明噪声预测这种参数化为何把预测目标从均值换成噪声、把变分下界化简为最简训练损失,最后交代 DDIM 能够跳步采样的原因。

2026-09-26 10:12:11 364

原创【RNN GRU LSTM】从 Vanilla RNN 到 LSTM：公式推导、手写 cell 与三组不训练实验

本文讲述了从 MLP 的固定窗口这一局限出发，推导 Vanilla RNN、GRU 与 LSTM 的公式并各自手写 cell 实现，最后用三组不训练的实验（梯度传播距离、记忆容量、计算代价）把四个模型放在同一条件下量一遍。

2026-09-25 09:21:32 428 1

原创【PPO完全解构】从一次 rollout 到一次权重更新，附带训练曲线判读与策略部署

本文用一个 2D 激光雷达导航任务，把 PPO 从单步交互、rollout 收集、GAE 与 mini-batch 更新，一路拆到训练曲线的判读与策略权重的部署。

2026-09-23 19:17:49 538

原创【生成式模型入门】（一）：变分自编码器 VAE — 从 ELBO 推导到机器人轨迹生成

本文讲述了 VAE 从 ELBO 推导到机器人轨迹落地的完整链路：先讲清 AE 为什么不能生成，再依次推导概率潜变量、重参数化与 KL 散度，最后用 LIBERO 轨迹数据配合源码验证。

2026-09-20 17:28:34 395

原创【玩转VLA具身智能机械臂】（六）：MuJoCo 与 Pinocchio 双引擎——从底层动力学对表到末端画圆

本文讲述了如何用同一份 MJCF 模型同时驱动 MuJoCo 仿真器与 Pinocchio 动力学库：先完成两套索引的对齐与动力学交叉验证，再依次实现重力补偿关节 PD、计算力矩与任务空间阻抗三种控制律，最终让 Panda 机械臂在 MuJoCo 中以毫米级误差画出半径 10 cm 的圆。

2026-09-18 22:26:23 311

原创【模仿学习+强化学习】BC+PPO：基于A* 专家行为克隆下的无地图雷达导航探索

本文讲述了在无先验地图的激光雷达导航中，用 A*+Pure Pursuit 专家的行为克隆作为 PPO 的初始策略，并通过三臂对比验证它能否加速并改善强化学习训练。

2026-09-16 22:57:26 233

原创【玩转VLA具身智能机械臂】（五）：GraspNet 6-DoF 抓取——从网络提议到筛选执行

本文把 GraspNet 官方 baseline 接进 ROS 2，让网络从点云直接预测 6-DoF 抓取位姿，再自己写执行节点把位姿变成机械臂真实的悬停、推进、闭合、抬升动作，最终在 Gazebo 里把方块夹起；网络的输出只当抓取提议，宽度从点云现量、候选按可行性筛、预演过的轨迹原样执行。

2026-09-16 11:31:23 297

原创【玩转VLA具身智能机械臂】（四）：点云分割与 OBB 夹取——从 PCA 失效到主动扫描

本文讲述了如何不训练任何模型、也不写死任何场景常量，只用三点 RANSAC 与 DBSCAN 把点云分成桌面和物体，用"竖直轴取桌面法向、水平轴扫最窄方向"的妥协 OBB 算出抓取位姿，再让机械臂主动飞到每个物体正上方补一次可信的姿态估计，最后从正上方把方块夹起来。

2026-09-14 23:36:12 340

原创【玩转VLA具身智能机械臂】（三）：视觉避障——从 RGB-D 点云到 MoveIt octomap 的完整落地

本文讲述了如何用 Gazebo + ros2_control + MoveIt 2 让 Panda 机械臂真正动起来，并手把手配置眼在手 RGB-D 深度相机、将点云接进 MoveIt 的 octomap 实现实时视觉避障的完整流程（从 URDF/ros2_control 宏、相机插件与 QoS/光学帧两大坑，到 launch/world 一键脚本跑通整条链路）。

2026-08-29 15:55:01 533

基于pytorch的steam游戏评分的线性回归问题分析的数据集

空空如也