深度强化学习在足式机器人中的应用 (四) 模仿学习与敏捷运动（Imitation Learning & Agility）

目录

5.1 模仿学习基础

5.1.1 行为克隆 (Behavior Cloning, BC)

5.1.2 GAIL / AIRL（对抗式模仿学习）

5.2 数据源

5.3 实现细节与完整代码

5.3.1 环境准备

5.3.2 数据生成（专家策略）

5.3.4 GAIL（Generative Adversarial Imitation Learning）实现

1. 先说为什么要用 GAIL

2. 代码框架

3. 环境准备

4. 判别器实现

4.1 优化技巧

5. 策略网络（PPO）

PPO 的核心

6. GAIL 训练循环（完整代码）

6.1 代码说明

6.2 常见问题 & 解决方案

7. 小结

---

前置要求

• Python ≥ 3.9, PyTorch ≥ 1.13, Gym ≥ 0.26，建议使用 GPU。
• 熟悉强化学习基本概念（策略、价值函数、损失等）。
• 具备基础的 OpenAI Gym 环境使用经验。

---

5.1 模仿学习基础

5.1.1 行为克隆 (Behavior Cloning, BC)

特点	说明
监督式	直接把专家演示映射到动作标签，等价于多分类/回归问题。