论文阅读（9）Residual Force Control for Agile Human Behavior Imitation and Extended Motion Synthesis

Residual Force Control for Agile Human Behavior Imitation and Extended Motion Synthesis

研究目标

基于物理的运动生成模型通过引入物理约束能够生成更加自然的动作，但由于训练环境中使用的动力学模型与测试/现实中的实际动力学模型存在差异（人体模型 vs 真实人体、仿真环境 vs 真实环境，等），导致人体模型与真实人类的动力学不匹配问题，从而难以实现高敏捷动作模仿（如芭蕾舞蹈）和无任务引导的多模态长期运动合成

研究贡献

1. 引入残差力控制（Residual Force Control，RFC）概念，用于微调已有控制策略的输出，使其适应当前真实环境的动力学（质量、摩擦力、重力、关节力矩、速度和加速度等），增强模型应对复杂动作的能力（高敏捷动作）
2. 提出双策略控制框架，能够在没有任务指导或用户输入的情况下合成多模态的长期人体运动

问题建模

该论文将人体控制的动作模仿任务建模成马尔科夫决策过程（MDP），然后使用强化学习进行求解。MDP 由五部分组成 $\mathcal{M}=(\mathcal{S},\mathcal{A},\mathcal{T},R,\gamma )$，其中

• $\mathcal{S}$ 为状态空间（States），表示当前的身体姿态 $x=state(q,\dot{q})$，其中 $q$ 表示所有关节的自由度（Degrees of Freedom），由根关节自由度 $q_r$（身体位置和朝向）和非根关节角度 $q_{nr}$ 组成，$\dot{q}$ 表示所有关节自由度的速度（线速度、角速度）
• $\mathcal{A}$ 为动作空间（Actions），采用目标角度 $u$ 作为强化学习的策略输出，然后使用比例微分（PD）控制器计算对应关节扭矩 $\tau$：$\tau =k_p\circ (u-q_{nr})-k_d\circ {\dot{q}}_{nr}$，其中 $k_p,k_d$ 为手动设置的比例和微分增益，分别用于跟踪目标角度和抑制关节速度过快导致的振荡
• $\mathcal{T}$ 为转移函数（Transition），根据给定当前状态 $s_t$ 和动作 $a_t$，计算下一状态 $s_{t+1}$ 的概率分布 $\mathcal{T}(s_{t+1}|s_t,a_t)$
• $R$为奖励函数（Reward），用于计算 agent 身体姿态 $x_t$ 与参考动作 ${\hat{x}}_t$ 的相似度，包括衡量 agent 非根关节自由度、关节速度、末帧姿势、质心与参考动作的差异
• $\gamma$ 为折扣因子，用于平衡即时奖励与长期奖励
  采用参数化的高斯策略，给定状态 $s$ 输出动作 $a$ 的条件分布 ${\pi }_{\theta }=\mathcal{N}(a|s)$

残差力控制（RFC）

在原始控制动作 $a_t$ 之外引入额外的修正动作 ${\tilde{a}}_t$（即残差力），形成复合动作$(a_t,{\tilde{a}}_t)$。该残差力作为时变的动力学补偿项，允许 agent 更好地模仿参考动作。因此，需要设计复合策略 ${\tilde{\pi }}_{}$