TD3算法实战：用PyTorch从零搭建机器人控制模型（附完整代码）-优快云博客

TD3算法实战：用PyTorch从零搭建机器人控制模型（附完整代码）

在机器人控制领域，强化学习正逐渐成为解决复杂决策问题的利器。而Twin Delayed Deep Deterministic Policy Gradient（TD3）作为DDPG算法的进化版本，凭借其独特的三重改进机制，在连续控制任务中展现出卓越的性能稳定性。本文将带您从零开始，用PyTorch构建完整的TD3框架，并实现机器人抓取任务的端到端训练。

1. 环境准备与核心概念

1.1 为什么选择TD3？

传统DDPG算法在机器人控制中常面临三个典型问题：

Q值高估导致的策略退化
探索不足造成的局部最优
训练过程中的剧烈波动

TD3通过以下创新设计解决这些问题：

# 关键改进可视化
improvements = {
    "双Critic网络": "取最小Q值作为目标，抑制高估",
    "延迟策略更新": "Critic更稳定后再更新Actor",
    "目标策略平滑": "添加噪声防止Q函数过拟合"
}

1.2 开发环境配置

推荐使用以下环境组合：

Python 3.8+
PyTorch 1.10+
OpenAI Gym 0.26+
MuJoCo 2.3+（可选）

安装核心依赖：

pip install torch gym numpy matplotlib

对于机器人仿真环境，FetchReach-v1是个不错的起点：

import gym
env = gym.make('FetchReach-v1')
print(f"状态空间: {env.observation_space}")
print(f"动作空间: {env.action_space}")

2. 网络架构设计

2.1 Actor-Critic结构详解

TD3采用双路Critic网络和单Actor网络的设计：

[状态输入]
    │
    ├─→ [Critic网络1] → Q1值
    │
    └─→ [Critic网络2] → Q2值
           ↑
[动作输入]─┘

[状态输入] → [Actor网络] → 确定性动作

Actor网络实现：

class Actor(nn.Module):
    def __init__(self, state_dim, action_dim, max_action):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(state_dim, 256),
            nn.ReLU(),
            nn.Linear(256, 256),
            nn.ReLU(),
            nn.Linear(256, action_dim),
            nn.Tanh()
        )
        self.max_action = max_action
    
    def forward(self, state):
        return self.max_action * self.net(state)

2.2 关键技术实现细节

目标策略平滑：

noise = torch.randn_like(action) * policy_noise
noise = noise.clamp(-noise_clip, noise_clip)
next_action = (actor_target(next_state) + noise).clamp(-max_action, max_action)

双Q学习目标：

target_Q1, target_Q2 = critic_target(next_state, next_action)
target_Q = torch.min(target_Q1, target_Q2)

延迟更新机制：

if total_steps % policy_freq == 0:
    # 更新Actor逻辑
    actor_loss = -critic.Q1(state, actor(state)).mean()

3. 完整训练流程

3.1 训练超参数配置

参数	推荐值	作用
回放缓冲区大小	1e6	存储经验样本
批量大小	256	每次训练样本数
γ折扣因子	0.99	未来奖励衰减率
τ软更新率	0.005	目标网络更新速度
策略噪声	0.2	动作探索幅度
噪声裁剪	0.5	噪声限制范围
策略更新频率	2	Critic更新次数/Actor更新

3.2 主训练循环实现

def train_td3(env, policy, episodes=1000):
    for ep in range(episodes):
        state = env.reset()
        episode_reward = 0
        
        for t in range(env._max_episode_steps):
            # 1. 选择动作并执行
            action = policy.select_action(state)
            next_state, reward, done, _ = env.step(action)
            
            # 2. 存储经验
            policy.replay_buffer.push(state, action, reward, next_state, done)
            
            # 3. 训练更新
            if len(policy.replay_buffer) > policy.batch_size:
                policy.train()
            
            state = next_state
            episode_reward += reward
            
            if done:
                break
        
        # 4. 定期保存模型
        if ep % 100 == 0:
            print(f"Episode {ep} | Reward: {episode_reward:.2f}")
            policy.save(f"td3_model_{ep}.pth")

提示：训练初期可设置较高的探索噪声，随着策略改进逐渐降低

4. 机器人控制实战技巧

4.1 状态空间优化

机器人任务通常需要组合多种传感器数据：

def process_state(raw_obs):
    # 拼接观察值、已达成目标和目标位置
    return np.concatenate([
        raw_obs['observation'],  # 本体传感器
        raw_obs['achieved_goal'],  # 当前末端位置
        raw_obs['desired_goal']   # 目标位置
    ])

4.2 奖励函数设计

有效的奖励函数应平衡稀疏奖励和密集奖励：

def custom_reward(achieved, desired):
    distance = np.linalg.norm(achieved - desired)
    success = float(distance < 0.05)  # 5cm内视为成功
    
    # 组合奖励
    return -distance + 10 * success  # 距离惩罚+成功奖励

4.3 课程学习策略

分阶段训练可显著提升成功率：

初级阶段：固定目标位置
中级阶段：随机目标位置
高级阶段：动态移动目标

if episode < 300:
    env.set_goal(fixed_goal)  # 固定目标
elif episode < 600:
    env.set_goal(random_goal) # 随机目标
else:
    env.set_goal(moving_goal) # 移动目标

5. 高级优化与调试

5.1 常见问题解决方案

训练不稳定：

检查梯度裁剪是否生效
降低学习率（尝试1e-4到3e-4）
增加目标网络更新间隔

策略收敛不良：

# 动态调整探索噪声
if episode_reward > threshold:
    policy.policy_noise *= 0.95  # 逐步降低噪声

5.2 性能评估指标

建立完整的评估体系：

指标类型	具体指标	评估工具
训练指标	平均回合奖励	TensorBoard
测试指标	任务成功率	独立测试集
鲁棒性	噪声干扰下的表现	传感器噪声注入

def evaluate(policy, test_episodes=10):
    successes = 0
    for _ in range(test_episodes):
        state = env.reset()
        for t in range(env._max_episode_steps):
            action = policy.select_action(state, noise=False)
            state, _, done, info = env.step(action)
            if done:
                successes += info.get('is_success', 0)
                break
    return successes / test_episodes

6. 扩展应用与进阶方向

6.1 多机器人协同控制

通过共享经验提升学习效率：

class MultiAgentBuffer:
    def __init__(self, capacity):
        self.buffers = [ReplayBuffer(capacity) for _ in range(n_agents)]
    
    def share_experience(self):
        # 定期交换各智能体的经验
        pass

6.2 结合视觉输入

使用CNN处理图像观测：

class VisualCritic(nn.Module):
    def __init__(self):
        super().__init__()
        self.cnn = nn.Sequential(
            nn.Conv2d(3, 32, 8, stride=4),
            nn.ReLU(),
            nn.Conv2d(32, 64, 4, stride=2),
            nn.ReLU(),
            nn.Flatten()
        )
        self.fc = nn.Linear(64*9*9 + action_dim, 256)

在实际机器人项目中，TD3表现最好的场景是那些需要精细控制的任务，比如机械臂抓取、四足机器人步态控制等。一个经验法则是：当任务的动作空间维度超过5维时，TD3相比传统方法通常能展现出明显优势。