mujoco+spinningup进行强化学习训练快速入门

望有恒

已于 2024-02-20 16:47:44 修改

阅读量3.4k

点赞数 7

CC 4.0 BY-SA版权

分类专栏：强化学习文章标签：机器学习 python 深度学习

于 2022-06-30 22:19:59 首次发布

本文链接：https://blog.youkuaiyun.com/shouchen1/article/details/125549148

强化学习专栏收录该内容

16 篇文章

订阅专栏

本文档介绍了如何搭建一个使用强化学习进行力控的UR5机器人环境。首先，通过MuJoCo加载XML模型并初始化模拟器。接着，设置了动作和状态空间，其中动作空间对应于控制器的输入范围，状态空间包含关节位置和速度信息。在step方法中，将动作传递给控制器接口，并计算关节位置偏差作为奖励。reset方法用于重置关节位置和速度。此外，还提到了一个名为spinningup的强化学习框架，它在性能和训练效率上优于其他框架，并提供了MPI多线程支持。最后，给出了使用spinningup库训练和运行UR5力控算法的代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

1、搭建env

目标：使用强化学习做力控，使机器人（UR5）平稳地运动到指定位置，并保持该状态。

env的几个要素*：

必要方法：step(action)、reset()、render()

必要元素：action_space、observation_space

我们在写环境就是实现这几个基本要素的过程

（1）初始化MuJoCo相关的组件

 self.model = mp.load_model_from_path('ur5.xml') # 从路径加载模型。
 self.sim = mp.MjSim(self.model) # MjSim 表示一个正在运行的模拟，包括其状态。
 self.viewer = mp.MjViewer(self.sim) #显示器

(2) 设置动作和状态空间

self.action_high = np.array([2, 2, 2, 1, 1, 1], dtype=np.float32)
self.action_space = spaces.Box(-self.action_high, self.action_high, dtype=np.float32)
self.observation_high = np.array([np.finfo(np.float32).max] * 12)
self.observation_space = spaces.Box(-self.observation_high, self.observation_high, dtype=np.float32)

action_space是由控制器的范围直接决定的，我们希望做一个力控，也就是把动作的输入直接给控制器上。

action_high即三个-2到2，三个-1到1，对称的

观测的是六个关节，共12个量，即对每个关节的位置和速度信息进行观测

(3) step实现

对于step的实现，直接将action输出到力控的接口

self.sim.data.ctrl[i] = action[i]

reward设为关节位置偏差求和。偏差越大，reward的值越小，反之越大

r -= abs(self.sim.data.qpos[i] - self.target[i])

state设置为各关节的位置和速度组成的向量

self.state[i] = self.sim.data.qpos[i]
self.state[i + 6] = self.sim.data.qvel[i]

(4) render

 self.viewer.render()

(5) reset

关节位置速度归零

self.sim.data.qpos[i] = 0
self.sim.data.qvel[i] = 0
self.state = [0] * 12

（6）完整环境代码

# UR5_Controller.py
import mujoco_py as mp
import numpy as np
from gym import spaces


class UR5_Controller(object):
    def __init__(self, target): #传入目标位置
        self.model = mp.load_model_from_path('ur5.xml') # 从路径加载模型。
        self.sim = mp.MjSim(self.model) # MjSim 表示一个正在运行的模拟，包括其状态。
        self.viewer = mp.MjViewer(self.sim) #显示器
        self.state = [0] * 12
        self.action_high = np.array([2, 2, 2, 1, 1, 1], dtype=np.float32)
        self.action_space = spaces.Box(-self.action_high, self.action_high, dtype=np.float32)
        self.observation_high = np.array([np.finfo(np.float32).max] * 12)
        self.observation_space = spaces.Box(-self.observation_high, self.observation_high, dtype=np.float32)

        self.target = target

    def step(self, action):
        for i in range(6): 
            self.sim.data.ctrl[i] = action[i] # 直接将action输出到控制器接口
        self.sim.step() # step的调用
        r = 0
        for i in range(6):
            r -= abs(self.sim.data.qpos[i] - self.target[i]) # 6个关节的偏差进行一个累加
            # r -= abs(self.sim.data.qvel[i])
            self.state[i] = self.sim.data.qpos[i] # state更新成每次的速度和位置
            self.state[i + 6] = self.sim.data.qvel[i]
        done = False
        # if r < -50:
        #     done = True
        # print(r)
        return np.array(self.state, dtype=np.float32), r, done, {} # 返回状态（observaton观测到的一些东西），reward，是否完成过程的一个标记，返回一个info（包括一些信息，一般是自检的形式。比如希望返回是否在一个高速的状态，可以在里面写上一些具体的信息，自己定义的，一般可以在输出上使用））

    def render(self):
        self.viewer.render()

    def reset(self): # 从摄像机渲染视图，并将图像作为 numpy.ndarray 返回。
        self.sim.reset()
        for i in range(6):
            self.sim.data.qpos[i] = 0
            self.sim.data.qvel[i] = 0
        self.state = [0] * 12
        return np.array(self.state, dtype=np.float32) # 返回reset后的状态

    def close(self):
        pass

2、spinning up框架介绍

这是一个性能上比较优秀的强化学习框架，它的实验细节比baseline好很多。spinningup的训练效率也比baseline好很多。

支持mpi多线程

Ubuntu: sudo apt-get update && sudp apt-get install libopenmpi-dev
Mac OSX: brew install openmpi

注意：这里不建议使用conda，可能会出问题

安装spinningup

git clone https://github.com/openai/spinningup.git
cd spinningup
pip install -e .

注意：pip install -e .执行的是 spinningup下的setup.py文件，如果报错，打开setup.py，手动安装依赖，逐个排查问题所在！！！

安装测试

python -m spinup.run ppo --hid "[32,32]"--env LunarLander-v2 --exp_name installtest --gamma 0.999
python -m spinup.run test_policy data/installtest/installtest_s0
python -m spinup.run plot data/installtest/installtest_so

3、训练+运行

使用spinningup强化学习算法库编写的运行程序

# main.py
from spinup import ppo_pytorch as ppo
from UR5_Controller import UR5_Controller
from spinup.utils.test_policy import load_policy_and_env, run_policy
import torch

TRAIN = 0  # 0:运行已有信息      1:训练模式

target = [0, -1.57, 1.57, 0, 0, 0] # 目标位置
env = lambda : UR5_Controller(target) # 创建环境

if TRAIN:
    ac_kwargs = dict(hidden_sizes=[64,64], activation=torch.nn.ReLU) # 网络参数：隐藏层，激活函数
    logger_kwargs = dict(output_dir='log', exp_name='ur5_goToTarget')# 记录和输出信息的函数

    ppo(env, ac_kwargs=ac_kwargs, logger_kwargs=logger_kwargs,
        steps_per_epoch=5000, epochs=4000)

else:
    _, get_action = load_policy_and_env('log') # 读取log中的信息
    env_test = UR5_Controller(target)
    run_policy(env_test, get_action)