shichaog的专栏

在实际机器人训练中，PPO适合在仿真环境中大量的进行，这是因为仿真环境可以产生大量的数据，而这正好满足了On-Policy 所需的大量交互数据，但是SAC的Off-Policy 特性复用旧数据，这意味着在真实世界中收集的数据可以服用，这提高了学习复杂动态的能力（如适应不同地面摩擦力），二者的结合是常用的方法。熵的概念源于信息论，原本表示的是编码信息所需要的比特数，信息量越少（确定性高），需要的用来编码信息的比特数也越少，这里熵衡量的是策略的随机性，熵越大策略越随机，这样有助于探索。

PPO（Proximal Policy Optimization）算法稳定性强，适合大多数的仿真环境，如MuJoco/Isaac Gym，是初上手的首选，SAC（Soft Actor-Critic ）算法在需要高效探索或真实机器人部署（样本成本高）时更优，际工程中，PPO+SAC 组合（如 PPO 微调 + SAC 迁移）已成为提升鲁棒性的常见方案。的，OpenAI一直想做的是AGI，chatGPT是AGI决策中枢，而机器人是AGI在现实世界交互的核心，而机器人运动、姿态控制室交互中的核心。

传统控制方法无法直接理解人类模糊或复杂的指令（如 “去二楼查看是否有异常”），需依赖固定脚本，有了VLA，就可以通过视觉感知环境语义（如识别 “楼梯” 或 “坑洞”），结合语言指令（如 “上楼” 或 “绕过障碍”），生成适应地形的步态和路径规划。多模态感知与对齐视觉编码器：使用 ViT 或 ResNet 提取环境特征（如地形高度图、障碍物位置）。示例：从 RGB-D 图像中分割出可通行区域与危险区域（如波士顿动力 Spot 的视觉导航模块）。

深度学习技术已经在语音、图像、视频、文本等领域应用广泛，其和强化学习的结合使得基于深度学习的大模型能力更是上升一个台阶。因而用在腿足机器人的运动中枢上也不足为奇，但是和电子化格式的语音、图像、文本而言，机器人的运动姿态涉及到真实的物理世界，要符合物理规律和宏观力学定律。

在有了地图之后，需要找到起点到目标点的最优路径（避开已知障碍物），首先进行全局路径规划（基于静态地图），常用的算法有A*、Dijkstra、RRT*等。然后再使用局部路径规划（避开动态障碍物，实时调整路径），常用的算法有动态窗口法（DWA）、人工势场法。和到底机器人相比，腿足机器人可以双脚离地（小跑、跳跃），SLAM地图需要包含高度信息，因此使用三维地图，这可以使用点云地图、高程地图以及体素地图。零力矩点（ZMP）稳定性判据。2.SLAM与运动控制流程。2.滚动优化：在时间窗口。条腿的地面反作用力，

机器人运动控制的核心目标是让机器人在环境中安全、高效地移动，前面的博客中主要阐述的是腿足机器人高效的移动（关节结构、高层运动规划、中层运动、逆运动学以及底层的PD电机驱动控制），而SLAM（Simultaneous Localization and Mapping，即时定位与地图构建） 是机器人实现自主导航的基石。因此，SLAM为运动控制提供了环境感知和定位信息，两者结合才能实现真正的自主导航。

腿足机器人的运动学解决“如何到达目标位置”的问题，动力学解决“如何高效稳定地到达”的问题。两者结合，使机器人能够在复杂环境中实现类生物的灵活运动，是仿生机器人领域的核心技术。如波士顿动力Atlas通过逆运动学规划跳跃动作，结合动力学模型计算关节力矩以实现空翻， MIT Cheetah利用简化动力学模型（弹簧负载倒立摆）实现高速奔跑，同时优化能量效率。

偏航（Yaw）：绕Z轴旋转，角度记为ψ\psiψ俯仰（Pitch）：绕Y轴旋转，角度记为θ\thetaθ横滚（Roll）：绕X轴旋转，角度记为ϕ\phiϕ基座标系（O₀）设在髋关节中心，X轴向前，Y轴向左，Z轴向上。

基坐标系（base frame）：通常固定在机器人躯干或髋关节处(如上图中间的圆圈位置，在髋关节的旋转中心)，通常以髋关节的初始位置为原点，Z轴（Yaw）垂直于躯干平面（竖直方向，人体直立时从脚到头的连线），X轴（Roll）指向机器人前进方向，Y轴（Pitch，从左肩到右肩的连线）。关节坐标系：每个关节的局部坐标系，用于描述相邻连杆的相对运髋关节坐标系：与基坐标系重合（初始状态），当髋关节偏航（Yaw）时，绕基坐标系的Z轴旋转。膝关节坐标系：位于大腿末端，绕髋关节俯仰轴（Y轴）旋转。

上面的离散的可能状态如何求得？分为静态和动态法，静态分解技术依赖于一个预先选定的固定分解方案，这种方案在分解过程开始前就已经确定，且不考虑被近似的后验概率分布的具体形状。这类技术能更有效地针对状态空间中后验概率较大的区域提供更高的分辨率，而在概率较低的区域采用更粗糙的分解，从而节省计算资源并提高效率。这些权重是根据每个粒子相对于观测数据的似然性来分配的，即反映了每个粒子如何适应观测数据的程度。通常粒子的状态总数M是一个很大的数，如M=1000，在一些实现中M也是时间或者和后验概率有联系的其他变量的函数。

机器人的任务是根据传感器读取和之前的移动历史估计自己的当前位置。这里的关键是如何根据新的传感器数据更新机器人对当前位置的估计。

腿足机器人的驱动器控制算法（如PID和PD）是实现其运动稳定性和动态响应的核心技术。

腿足机器人的所有运动，最终都会反应在对关节的控制上，大体上关节的运动一般采用运动学和强化学习两类方法，如运动学逆解算法用于规划关节角度（如肘式/膝式腿的几何求解），强化学习（RL）优化步态生成，如NVIDIA Isaac Lab端侧部署方案。RL方法的一个挑战是获得训练数据，在机器人行走之前，采集数据的成本是高昂的，所以一般训练都是先基于仿真环境，在在仿真中定义奖励函数（如前进速度、能量效率、姿态稳定性），然后通过PPO或SAC算法优化策略模型预测结果，然后再迁移到实际的环境中。例如，给定足端目标位置。

腿足机器人主要结构是由刚体（links）和关节（joints）组成的，在这种设计结构中，每个刚体部件被称为“连杆”，它们是支撑结构，不仅仅承载着装置自身的重量，还可能面对工作时的各种负载。从腿足机器人的角度看，通常是将分解之后的运动姿态，比如某一个关节角度信息直接传给控制器，控制器内部将目标位置信息通过PID/PD算法转为电机（motor）控制信号，然后为电机提供合适的电流电压（控制器的正负3.3v带不动力矩较大的关节运动），然后通过将电能转成电机机械能，带动机器人的运动。齿轮是带齿的机械组件。